主页 / coding / 问题 / 79176358
Accepted
Pardeep Singh
Asked: 2024-11-11 12:10:52 +0800 CST

DBT 测试响应：编译错误宏“dbt_macro__test”不采用关键字参数“model”

  • 772

我在雪花数据库中有两个表。一个是手动生成的（表 1），另一个是使用 DBT 模型生成的（表 2）。这两个表中的记录数应该相同。我正在尝试编写一个 DBT 测试来为我进行比较。

但是，我的测试一直返回编译错误：

“测试 record_count_prontoform_prod_lptr_grower_prontoform_prod_lptr_grower__LPTR_GROWER_RAW_SUBMISSIONS__RAW_SUBMISSIONS (models\marts\schema_prontoform_prod_lptr_plant.yml) 中的编译错误，宏‘dbt_macro__test_record_count’没有关键字参数‘model’”

我在 DBT 项目中写了以下测试：

SQL 文件名：test_record_count.sql

-- count_match_test.sql
{% test record_count(source_name, source_table, model_name) %}

WITH
  table1_count AS (
    SELECT COUNT(*) AS count FROM {{ source(source_name, source_table) }}
  ),
  table2_count AS (
    SELECT COUNT(*) AS count FROM {{ ref(model_name) }}
  )

SELECT
  CASE WHEN t1.count = t2.count THEN 'pass'
       ELSE RAISE_ERROR('Record count mismatch between ' || source_name || ' and ' || model) END AS test_result
FROM table1_count t1
JOIN table2_count t2 ON t1.count = t2.count

{% endtest %}

Schema.yml

  - name: prontoform_prod_lptr_grower
    description: 'Mapping ids to question labels'
    data_tests:
      - record_count:
          source_name: "LPTR_GROWER_RAW_SUBMISSIONS"
          source_table: "RAW_SUBMISSIONS"
          model_name: "prontoform_prod_lptr_grower"

    columns:
      - name: submission_id
        description: 'submission_id of form'
        data_tests:
          - not_null
          - unique
      - name: question_id
        description: 'Unique question ID used for mapping'
        data_tests:
          - not_null          
      - name: question_label
        description: 'The label of the question'
        data_tests:
          - not_null

测试运行：

(dbt_venv) PS C:\prontoforms_dbt\dbt-snowflake> dbt test --select prontoform_prod_lptr_grower 23:37:52 使用 dbt=1.8.6 运行 23:37:52 注册适配器：snowflake=1.8.3 23:37:53 遇到错误：测试 record_count_prontoform_prod_lptr_grower_prontoform_prod_lptr_grower__LPTR_GROWER_RAW_SUBMISSIONS__RAW_SUBMISSIONS (models\marts\schema_prontoform_prod_lptr_plant.yml) 中的编译错误 宏'dbt_macro__test_record_count' 不需要关键字参数'model' (dbt_venv) PS C:\prontoforms_dbt\dbt-snowflake>

snowflake-cloud-data-platform

1 个回答

  1. Best Answer

    自定义测试需要接受一个model参数，并且可以选择接受一个column_name参数。摘自DBT 文档：

    要定义您自己的通用测试，只需创建一个名为 <test_name> 的测试块。所有通用测试都应接受一个或两个标准参数：

    • 模型：定义测试的资源，模板化为其关系名称。（请注意，即使资源是源、种子或快照，参数也始终命名为模型。）
    • column_name：定义测试的列。并非所有通用测试都在列级别运行，但如果是，则应接受 column_name 作为参数。

    模型名称根据您的 yaml 配置隐式传入，并以 ref 对象的形式传入，因此您可以在测试中直接引用它。此外，要使测试失败，您需要返回非空结果集。

    {% test record_count(model, source_name, source_table) %}

WITH
  table1_count AS (
    SELECT COUNT(*) AS count FROM {{ source(source_name, source_table) }}
  ),
  table2_count AS (
    SELECT COUNT(*) AS count FROM {{ model }}
  )

select 1 from table1_count, table2_count where table1_count.count != table2_count.count;

{% endtest %}

    在你的 yaml 中：

      - name: prontoform_prod_lptr_grower
    description: 'Mapping ids to question labels'
    data_tests:
      - record_count:
          source_name: "LPTR_GROWER_RAW_SUBMISSIONS"
          source_table: "RAW_SUBMISSIONS"

    当测试失败时，它会显示一条错误，指出 1 条记录失败。如果您想查看计数，请更改select 1为select table2_count.count。

    • 0

相关问题