分析工程

梦想画家15 天前
数据治理·数据工程·分析工程
dbt 数据分析工程实战教程(汇总篇)最近陆续写了数据分析工程相关的系列博客,主要包括dbt-core相关的实战教程。本文是阶段性整理回顾,希望为你学习数据工程领域知识提供帮助,后续会持续更新。
梦想画家1 个月前
数据治理·数据转换·1024程序员节·数据工程·分析工程
理解dbt artifacts及其实际应用dbt是数据分析领域的一种变革性工具,它使数据专业人员能够对仓库中的数据进行转换和建模。它的强大功能之一是生成dbt artifacts:dbt运行的结构化输出,提供对dbt项目及其操作的深入了解。
梦想画家1 个月前
大数据·数据治理·数据工程·分析工程
Dbt增量策略模型实践指南参考:dbt Incremental Strategies | Indicium Engineering (medium.com)
梦想画家2 个月前
数据治理·数据工程·分析工程
DBT hook 实战教程本文将介绍dbt中在模型和seed级别使用post-hook的几个具体示例。dbt中的Post-hooks是一个强大而简单的特性,它在构建模型之后(如果是pre-hook,甚至在此之前)执行SQL语句。这些语句实际上(几乎)可以是任何东西,从将表复制到另一个数据库/模式,或限制记录的数量,或重新格式化seed。我们将讨论的示例是指DuckDB,但是也可以适用于其他数据库。
梦想画家2 个月前
数据仓库·数据转换·分析工程
dbt compile 命令及应用编写dbt模型和存储过程有较大差异,比如不建议update和insert,大多数代码是select语句。同时需要引用jinja函数、复杂逻辑以及宏,这些差异经常让开发者不确定生成的模型是否满足需求。本文介绍dbt compile命令可以在开发过程中随时查看编译后的SQL语句,帮助开发者及时发现模型问题。
梦想画家2 个月前
数据转换·数据工程·分析工程
dbt seed 命令及应用示例DBT-core是一个命令行工具,它使数据分析师和工程师能够更有效地转换仓库中的数据。dbt的一个强大特性是seed命令,它可以将CSV文件(称为“seed”)加载到数据仓库中。本教程将带你完成使用dbt seed命令的过程。