【Azure 架构师学习笔记】- Azure Databricks (18) --Delta Live Table 架构

本文属于【Azure 架构师学习笔记】系列

本文属于【Azure Databricks】系列。

接上文 【Azure 架构师学习笔记】- Azure Databricks (17) --Delta Live Table和Delta Table

Databrics DLT 是一个ETL 框架,通过创建pipeline来简化开发难度,本文介绍两种DLT 与ADB搭配的架构。

假设一个企业有一个销售系统,并且有两个独立的销售平台A, B,意味着客户信息可能是不一样的。 销售系统需要把A, B 的客户信息合并并为后期数据分析做准备。

  • 在Bronze层, 数据集成系统会把所有源数据分别存储起来。
  • 在Silver 层, 则合并A和B的数据到一个同一视图。
  • 在Gold层,通常情况下就会汇总信息到一个dashboard,然后对销售情况进行分析。

架构1

在Bronze zone中, 每个数据源都有多个表,并且配置了自己的DLT pipeline。 在Silever Zone, 通过Merge 操作,把数据逻辑和历史数据进行合并。

在这里,由于Bronze zone通过不同的DLT pipeline把数据隔离,使得数据流的跟踪更加方便。同时由于不同数据有不同的处理需求比如刷新间隔,隔离开来可以避免全部数据进行刷新。

但是由于两个DLT pipeline不能直接写入同一个表DLT Limitations,这在某些情况下会增加复杂度。

架构2

在这个改进架构中的bronze zone,与前面的没有区别。但是在Silver zone中,有了自己的DLT pipeline。通过把默认的两级架构live.table变成3级架构catalog.schema.table的方式来消除前面提到的不能同时更新同一个表的限制。

同时通过在silver上使用DLT,使得其也就有了监控, 数据血缘,数据质量控制等特性。

另外在这个改进架构中, silver的表也被配置成同时更新。

相关推荐
codeの诱惑6 天前
Azure DevOps CI/CD 流水线中 Java 17 容器化部署 NullPointerException 解决方案
ci/cd·azure·devops
Leinwin7 天前
Azure Cobalt 100 VM:以卓越性能与能效优化云端工作负载
microsoft·azure
weixin_307779138 天前
在 Microsoft Azure 上部署 ClickHouse 数据仓库:托管服务与自行部署的全面指南
开发语言·数据库·数据仓库·云计算·azure
Leinwin12 天前
Azure Front Door 在中国区正式上线
microsoft·azure
Leinwin13 天前
微软发布Azure容器存储v2.0.0国际版
microsoft·azure
宝桥南山15 天前
Azure - 尝试创建并使用一下Azure AI Search
microsoft·微软·azure
宝桥南山21 天前
Azure - Azure需要MFA login了(2025-09-30之后)
microsoft·微软·azure
Leinwin1 个月前
微软 Azure AI 视频翻译服务助力 JowoAI 实现短剧高效出海
人工智能·microsoft·azure
安娜的信息安全说1 个月前
使用 Azure AD 实现认证与权限管理:原理解析与操作指南
microsoft·flask·azure
Leinwin1 个月前
Bulutistan:融合本地与云端,借 Azure Arc 开启创新之旅
microsoft·azure