【Azure 架构师学习笔记】- Azure Databricks (18) --Delta Live Table 架构

本文属于【Azure 架构师学习笔记】系列

本文属于【Azure Databricks】系列。

接上文 【Azure 架构师学习笔记】- Azure Databricks (17) --Delta Live Table和Delta Table

Databrics DLT 是一个ETL 框架,通过创建pipeline来简化开发难度,本文介绍两种DLT 与ADB搭配的架构。

假设一个企业有一个销售系统,并且有两个独立的销售平台A, B,意味着客户信息可能是不一样的。 销售系统需要把A, B 的客户信息合并并为后期数据分析做准备。

  • 在Bronze层, 数据集成系统会把所有源数据分别存储起来。
  • 在Silver 层, 则合并A和B的数据到一个同一视图。
  • 在Gold层,通常情况下就会汇总信息到一个dashboard,然后对销售情况进行分析。

架构1

在Bronze zone中, 每个数据源都有多个表,并且配置了自己的DLT pipeline。 在Silever Zone, 通过Merge 操作,把数据逻辑和历史数据进行合并。

在这里,由于Bronze zone通过不同的DLT pipeline把数据隔离,使得数据流的跟踪更加方便。同时由于不同数据有不同的处理需求比如刷新间隔,隔离开来可以避免全部数据进行刷新。

但是由于两个DLT pipeline不能直接写入同一个表DLT Limitations,这在某些情况下会增加复杂度。

架构2

在这个改进架构中的bronze zone,与前面的没有区别。但是在Silver zone中,有了自己的DLT pipeline。通过把默认的两级架构live.table变成3级架构catalog.schema.table的方式来消除前面提到的不能同时更新同一个表的限制。

同时通过在silver上使用DLT,使得其也就有了监控, 数据血缘,数据质量控制等特性。

另外在这个改进架构中, silver的表也被配置成同时更新。

相关推荐
正宗咸豆花19 小时前
在 Azure 中配置 SMS 与 OTP
microsoft·flask·azure
Ashmcracker3 天前
Azure DevOps 使用服务主体配置自托管代理 (Self-hosted Agent) 配置指南
microsoft·微软·云计算·azure·devops
IT考试认证9 天前
微软 AI-900 Azure AI Fundamentals题库
微软·azure·ai-900·mcf
IT考试认证14 天前
Microsoft AZ-305 Exam Question
microsoft·azure·az-305
LCG元14 天前
MCP选型指南:AWS vs Azure vs GCP vs 国内云厂商深度对比
flask·azure·aws
Linux运维技术栈16 天前
企业级配置:Azure 邮件与 Cloudflare 域名解析的安全验证落地详解
运维·安全·flask·azure·cloudflare
Leinwin22 天前
微软发布新一代存储优化型虚拟机:Azure Laosv4、Lasv4 和 Lsv4 系列
microsoft·azure
国际云,接待23 天前
微软服务器安全问题
运维·服务器·云原生·云计算·azure
山猪打不过家猪1 个月前
Azure Devops
flask·azure·devops
Azure DevOps1 个月前
Azure DevOps Server:使用FTP工具上传文件
运维·microsoft·azure·devops