sqlmesh

梦想画家6 天前
数据工程·分析工程·sqlmesh
SQLMesh SCD-2 时间维度实战:餐饮菜单价格演化追踪考虑某连锁餐厅的菜单管理系统,需要记录食品价格的历史变更轨迹。业务需求包括:系统采用SQLMesh作为数据同步平台,配置invalidate_hard_deletes=true以保留删除记录的有效期。
梦想画家8 天前
数据工程·分析工程·sqlmesh
SQLMesh 系列教程:Airbnb数据分析项目实战在本文中,我们将探讨如何利用dbt项目的代码库来实现一个简单的SQLMesh项目。本文的基础是基于Udemy讲师为dbt课程创建的示例项目,可以在这个GitHub repo中获得。这个dbt项目是相对完整的示例,我们将使用它作为模板来演示SQLMesh(下一代数据转换工具)的功能。
梦想画家1 个月前
数据工程·sqlmesh
SQLMesh 系列教程9- 宏变量及内置宏变量SQLMesh 的宏变量是一个强大的工具,能够显著提高 SQL 模型的动态化能力和可维护性。通过合理使用宏变量,可以实现动态时间范围、多环境配置、参数化查询等功能,从而简化数据模型的开发和维护流程。随着数据团队的规模扩大和业务复杂度的增加,宏变量的重要性将愈发凸显。
梦想画家1 个月前
数据工程·sqlmesh
SQLMesh 系列教程4- 详解模型特点及模型类型SQLMesh 作为一款强大的数据建模工具,以其灵活的模型设计和高效的增量处理能力脱颖而出。本文将详细介绍 SQLMesh 模型的特点和类型,帮助读者快速了解其强大功能。我们将深入探讨不同模型类型(如增量模型、全量模型、SCD Type 2 等)的适用场景和优势,并通过实际示例展示如何利用这些模型高效加载数据。无论你是数据工程师还是数据科学家,SQLMesh 都能为你提供强大的支持。让我们一起探索 SQLMesh 的魅力,解锁高效数据处理的新可能!