【Azure 架构师学习笔记】- Azure Databricks (18) --Delta Live Table 架构

本文属于【Azure 架构师学习笔记】系列

本文属于【Azure Databricks】系列。

接上文 【Azure 架构师学习笔记】- Azure Databricks (17) --Delta Live Table和Delta Table

Databrics DLT 是一个ETL 框架,通过创建pipeline来简化开发难度,本文介绍两种DLT 与ADB搭配的架构。

假设一个企业有一个销售系统,并且有两个独立的销售平台A, B,意味着客户信息可能是不一样的。 销售系统需要把A, B 的客户信息合并并为后期数据分析做准备。

  • 在Bronze层, 数据集成系统会把所有源数据分别存储起来。
  • 在Silver 层, 则合并A和B的数据到一个同一视图。
  • 在Gold层,通常情况下就会汇总信息到一个dashboard,然后对销售情况进行分析。

架构1

在Bronze zone中, 每个数据源都有多个表,并且配置了自己的DLT pipeline。 在Silever Zone, 通过Merge 操作,把数据逻辑和历史数据进行合并。

在这里,由于Bronze zone通过不同的DLT pipeline把数据隔离,使得数据流的跟踪更加方便。同时由于不同数据有不同的处理需求比如刷新间隔,隔离开来可以避免全部数据进行刷新。

但是由于两个DLT pipeline不能直接写入同一个表DLT Limitations,这在某些情况下会增加复杂度。

架构2

在这个改进架构中的bronze zone,与前面的没有区别。但是在Silver zone中,有了自己的DLT pipeline。通过把默认的两级架构live.table变成3级架构catalog.schema.table的方式来消除前面提到的不能同时更新同一个表的限制。

同时通过在silver上使用DLT,使得其也就有了监控, 数据血缘,数据质量控制等特性。

另外在这个改进架构中, silver的表也被配置成同时更新。

相关推荐
Leinwin14 小时前
微软发布新一代存储优化型虚拟机:Azure Laosv4、Lasv4 和 Lsv4 系列
microsoft·azure
国际云,接待1 天前
微软服务器安全问题
运维·服务器·云原生·云计算·azure
山猪打不过家猪13 天前
Azure Devops
flask·azure·devops
Azure DevOps17 天前
Azure DevOps Server:使用FTP工具上传文件
运维·microsoft·azure·devops
山猪打不过家猪17 天前
Azure部署程序
microsoft·flask·azure
风车带走过往18 天前
Azure 资源清单
microsoft·flask·azure
Elastic 中国社区官方博客20 天前
使用 Azure LLM Functions 与 Elasticsearch 构建更智能的查询体验
大数据·人工智能·elasticsearch·microsoft·搜索引擎·全文检索·azure
wei_shuo20 天前
Azure 机器学习初学者指南
microsoft·机器学习·azure
Clownseven21 天前
对象存储数据一致性:S3 vs Azure Blob vs GCS对比解析 (2025)
microsoft·flask·azure
创实信息21 天前
软件开发 | 从 Azure DevOps迁移至GitHub企业版的最佳路径
ai·github·azure·devops