理解dbt artifacts及其实际应用

dbt是数据分析领域的一种变革性工具,它使数据专业人员能够对仓库中的数据进行转换和建模。它的强大功能之一是生成dbt artifacts:dbt运行的结构化输出,提供对dbt项目及其操作的深入了解。

dbt 构件介绍

dbt构件是每次dbt运行时生成的JSON文件。它们包括:

  • semantic_manifest.json:包含为每个模型编译的SQL代码。
  • manifest.json:提供dbt项目上次运行的全面结果清单视图。
  • catalog.json:提供有关数据库模式的详细信息,包括列数据类型和描述。
  • run_results.json:包含上次dbt运行的结果,包括成功或失败状态。
  • sources.json:项目中使用的source数据表的详细信息。

这些构件对于文档、查看dbt项目状态以及可视化source的新鲜度都是必不可少的。

生成并访问构件

每次调用dbt时,它都会生成构件。例如,当你运行:

shell 复制代码
dbt run

DBT将在DBT项目的target/目录中生成构件。你可以直接访问这些JSON文件,并利用dbt的内置文档站点等工具可视化其内容。

dbt artifacts 包实际应用

brooklyn-data提供的dbt_artifacts是非常强大的工具,可以对dbt项目及其运行的元数据进行建模。目前该包支持下面几种数仓:

  • Databricks ✅
  • Spark ✅
  • Snowflake ✅
  • Google BigQuery ✅
  • Postgres ✅
  • SQL Server ✅

生成模型包括:

  • dim_dbt__current_models

  • dim_dbt__exposures

  • dim_dbt__models

  • dim_dbt__seeds

  • dim_dbt__snapshots

  • dim_dbt__sources

  • dim_dbt__tests

  • fct_dbt__invocations

  • fct_dbt__model_executions

  • fct_dbt__seed_executions

  • fct_dbt__snapshot_executions

  • fct_dbt__test_executions

  • 安装依赖

    packages:
    - package: brooklyn-data/dbt_artifacts
    version: 2.7.0

执行 dbt deps命令安装依赖。

  • 配置

dbt_project.yml中指定数据上传位置:

yaml 复制代码
models:
  dbt_artifacts:
    +database: your_destination_database
    +schema: your_destination_schema

我们还可以分类设置:

yml 复制代码
models:
  ...
  dbt_artifacts:
    +database: your_destination_database # optional, default is your target database
    +schema: your_destination_schema # optional, default is your target schema
    staging:
      +database: your_destination_database # optional, default is your target database
      +schema: your_destination_schema # optional, default is your target schema
    sources:
      +database: your_sources_database # optional, default is your target database
      +schema: your sources_database # optional, default is your target schema
  • 增加run-end hook
yml 复制代码
on-run-end:
  - "{{ dbt_artifacts.upload_results(results) }}"

建议增加条件,保证仅在生产环境启用:

yml 复制代码
on-run-end:
  - "{% if target.name == 'prod' %}{{ dbt_artifacts.upload_results(results) }}{% endif %}"
  • 运行

设置完成后,可以直接运行。

复制代码
dbt run --select dbt_artifacts

总结

DBT 构件是一项极为强大的特性,它能够让我们对 DBT 项目及运行请看有更深理解。如果我们能够有效地理解并利用这些构件,就可以对数据转换流程进行优化,从而确保数据的可靠性。期待您的真诚反馈,更多内容请阅读数据分析工程专栏。

相关推荐
千桐科技17 小时前
轻松上手 qData 数据中台开源版:Docker Compose 助你10分钟跑起来
数据治理·大数据平台·qdata·开源数据中台·千数平台·java数据中台·qdata数据中台
袋鼠云数栈2 天前
袋鼠云产品功能更新报告14期|实时开发,效率再升级!
经验分享·数据治理·数字孪生·空间智能·数据智能·产品升级·数字孪生产品
友莘居士6 天前
Apache DolphinScheduler:数据治理中数据质检利器
apache·数据治理·dolphin·数据质量·scheduler·数据质检
向上的车轮15 天前
Spring Boot生态中ORM对数据治理的支持有哪些?
spring boot·数据治理·orm
爱分享的飘哥23 天前
第六十六篇:AI模型的“口才”教练:Prompt构造策略与自动化实践
人工智能·自动化·prompt·aigc·数据集·llm训练·数据工程
船长@Quant25 天前
元数据管理与数据治理平台:Apache Atlas 基本搜索 Basic Search
hadoop·数据治理·元数据管理·数据血缘·gdpr合规·apache atlas
lzb_kkk1 个月前
【实习总结】Qt通过Qt Linguist(语言家)实现多语言支持
开发语言·c++·qt·1024程序员节·qt linguist·qt 语言家
喻师傅1 个月前
数据治理:DQC(Data Quality Center,数据质量中心)概述
大数据·数据仓库·数据治理
Altair澳汰尔1 个月前
行业热点丨仿真历史数据难以使用?如何利用几何深度学习破局,加速汽车工程创新
人工智能·ai·汽车·数据治理·仿真·cae·physicsai
天翼云开发者社区1 个月前
数据治理之数据质量评估维度及方法
数据治理