理解dbt artifacts及其实际应用

dbt是数据分析领域的一种变革性工具,它使数据专业人员能够对仓库中的数据进行转换和建模。它的强大功能之一是生成dbt artifacts:dbt运行的结构化输出,提供对dbt项目及其操作的深入了解。

dbt 构件介绍

dbt构件是每次dbt运行时生成的JSON文件。它们包括:

  • semantic_manifest.json:包含为每个模型编译的SQL代码。
  • manifest.json:提供dbt项目上次运行的全面结果清单视图。
  • catalog.json:提供有关数据库模式的详细信息,包括列数据类型和描述。
  • run_results.json:包含上次dbt运行的结果,包括成功或失败状态。
  • sources.json:项目中使用的source数据表的详细信息。

这些构件对于文档、查看dbt项目状态以及可视化source的新鲜度都是必不可少的。

生成并访问构件

每次调用dbt时,它都会生成构件。例如,当你运行:

shell 复制代码
dbt run

DBT将在DBT项目的target/目录中生成构件。你可以直接访问这些JSON文件,并利用dbt的内置文档站点等工具可视化其内容。

dbt artifacts 包实际应用

brooklyn-data提供的dbt_artifacts是非常强大的工具,可以对dbt项目及其运行的元数据进行建模。目前该包支持下面几种数仓:

  • Databricks ✅
  • Spark ✅
  • Snowflake ✅
  • Google BigQuery ✅
  • Postgres ✅
  • SQL Server ✅

生成模型包括:

  • dim_dbt__current_models

  • dim_dbt__exposures

  • dim_dbt__models

  • dim_dbt__seeds

  • dim_dbt__snapshots

  • dim_dbt__sources

  • dim_dbt__tests

  • fct_dbt__invocations

  • fct_dbt__model_executions

  • fct_dbt__seed_executions

  • fct_dbt__snapshot_executions

  • fct_dbt__test_executions

  • 安装依赖

    packages:
    - package: brooklyn-data/dbt_artifacts
    version: 2.7.0

执行 dbt deps命令安装依赖。

  • 配置

dbt_project.yml中指定数据上传位置:

yaml 复制代码
models:
  dbt_artifacts:
    +database: your_destination_database
    +schema: your_destination_schema

我们还可以分类设置:

yml 复制代码
models:
  ...
  dbt_artifacts:
    +database: your_destination_database # optional, default is your target database
    +schema: your_destination_schema # optional, default is your target schema
    staging:
      +database: your_destination_database # optional, default is your target database
      +schema: your_destination_schema # optional, default is your target schema
    sources:
      +database: your_sources_database # optional, default is your target database
      +schema: your sources_database # optional, default is your target schema
  • 增加run-end hook
yml 复制代码
on-run-end:
  - "{{ dbt_artifacts.upload_results(results) }}"

建议增加条件,保证仅在生产环境启用:

yml 复制代码
on-run-end:
  - "{% if target.name == 'prod' %}{{ dbt_artifacts.upload_results(results) }}{% endif %}"
  • 运行

设置完成后,可以直接运行。

复制代码
dbt run --select dbt_artifacts

总结

DBT 构件是一项极为强大的特性,它能够让我们对 DBT 项目及运行请看有更深理解。如果我们能够有效地理解并利用这些构件,就可以对数据转换流程进行优化,从而确保数据的可靠性。期待您的真诚反馈,更多内容请阅读数据分析工程专栏。

相关推荐
jamison_16 小时前
文心一言与 DeepSeek 的竞争分析:技术先发优势为何未能转化为市场主导地位?
人工智能·ai·chatgpt·gpt-3·1024程序员节
NaZiMeKiY1 天前
HTML5前端第六章节
前端·html·html5·1024程序员节
RestCloud2 天前
ETL中数据转换的三种处理方式
数据仓库·etl·数字化转型·数据转换·api管理
软信数据研究院3 天前
软信天成:从“等数据”到“用数据”,自助数据分析如何让企业快人一步?
大数据·信息可视化·数据挖掘·数据分析·数据治理·数据管理·自助数据分析
jamison_15 天前
颠覆未来:解锁ChatGPT衍生应用的无限可能(具体应用、功能、付费模式与使用情况)
ai·chatgpt·1024程序员节
梦想画家8 天前
SQLMesh SCD-2 时间维度实战:餐饮菜单价格演化追踪
数据工程·分析工程·sqlmesh
梦想画家9 天前
数据联邦技术与工具:构建实时数据访问的架构实践
架构·数据工程·数据联邦
NaZiMeKiY10 天前
HTML5前端第七章节
1024程序员节
梦想画家11 天前
SQLMesh 系列教程:Airbnb数据分析项目实战
数据工程·分析工程·sqlmesh
earthzhang202114 天前
《Python深度学习》第四讲:计算机视觉中的深度学习
人工智能·python·深度学习·算法·计算机视觉·numpy·1024程序员节