数据总线/一致性维度/总线矩阵

数据孤岛

企业内部各个系统中的数据被隔离在不同的数据库中,无法进行共享和整合,严重影响了企业的决策能力和运营效率。

数据仓库数据总线

一种技术解决方案,旨在实现数据仓库与各个数据源之间的数据集成、交换和共享,通常做法是将所有的数据源连接到一条共享的数据总线上。

数据总线通过建立数据集成层,实现了不同数据源之间的数据传输和转换,从而打破数据孤岛,实现数据共享。

数据总线连接多个数据源,并将数据按照一定的规则进行清洗、转换和加工,提升数据质量和一致性,最终将数据加载到数据仓库中。

这样,企业就可以在数据仓库内部进行全面的数据分析和决策支持。

一致性维度

在同一个集市内,一致性维度的意思是两个维度如果有关系,要么就是完全一样的,要么就是一个维度在数学意义上是另一个维度的子集

维度保持一致后,事实就可以保存在各个数据集市中。虽然在物理上是独立的,但在逻辑上由一致性维度使所有的数据集市是联系在一起,随时可以进行交叉探察等操作,也就组成了数据仓库。

总结

总线矩阵:业务过程和维度的交点

一致性维度:同一集市的维度表,内容相同或包含

一致性事实:不同集市的同一事实,需保证口径一致,单位统一

参考

数据仓库数据总线

https://www.guandata.com/gy/post/12498.html

一篇文章搞懂数据仓库:总线架构、一致性维度、一致性事实

https://developer.aliyun.com/article/931916

相关推荐
淡定一生23335 小时前
数据仓库中的退化维度
数据仓库
smchaopiao12 小时前
Hive中的排序与分桶技术详解
数据仓库·hive·hadoop
tsyjjOvO3 天前
SpringMVC 从入门到精通
数据仓库·hive·hadoop
weixin_449310844 天前
ETL转换和数据写入小满OKKICRM的技术细节
数据仓库·php·etl
盛源_016 天前
hive表视图
数据仓库·hive·hadoop
SelectDB技术团队6 天前
Apache Doris + SelectDB:定义 AI 时代,实时分析的三大范式
数据库·数据仓库·人工智能·云原生·实时分析
xiaogai_gai6 天前
ETL数据流程实战:轻易云平台整合金蝶云星空API接口
java·数据仓库·etl
SelectDB技术团队7 天前
OLAP 无需事务?Apache Doris 如何让实时分析兼具事务保障
数据库·数据仓库·人工智能·云原生·实时分析
yumgpkpm7 天前
OpenClaw(养龙虾) +关于Hadoop hive的Skills(CLoudera CDH、CDP)
大数据·数据仓库·hive·hadoop·分布式·zookeeper·kafka
网络工程小王8 天前
【大数据技术详解】——Hive 离线数仓分层(学习笔记)
数据仓库·hive·hadoop