数据总线/一致性维度/总线矩阵

数据孤岛

企业内部各个系统中的数据被隔离在不同的数据库中,无法进行共享和整合,严重影响了企业的决策能力和运营效率。

数据仓库数据总线

一种技术解决方案,旨在实现数据仓库与各个数据源之间的数据集成、交换和共享,通常做法是将所有的数据源连接到一条共享的数据总线上。

数据总线通过建立数据集成层,实现了不同数据源之间的数据传输和转换,从而打破数据孤岛,实现数据共享。

数据总线连接多个数据源,并将数据按照一定的规则进行清洗、转换和加工,提升数据质量和一致性,最终将数据加载到数据仓库中。

这样,企业就可以在数据仓库内部进行全面的数据分析和决策支持。

一致性维度

在同一个集市内,一致性维度的意思是两个维度如果有关系,要么就是完全一样的,要么就是一个维度在数学意义上是另一个维度的子集

维度保持一致后,事实就可以保存在各个数据集市中。虽然在物理上是独立的,但在逻辑上由一致性维度使所有的数据集市是联系在一起,随时可以进行交叉探察等操作,也就组成了数据仓库。

总结

总线矩阵:业务过程和维度的交点

一致性维度:同一集市的维度表,内容相同或包含

一致性事实:不同集市的同一事实,需保证口径一致,单位统一

参考

数据仓库数据总线

https://www.guandata.com/gy/post/12498.html

一篇文章搞懂数据仓库:总线架构、一致性维度、一致性事实

https://developer.aliyun.com/article/931916

相关推荐
yyf9601261 天前
hiveserver2与beeline进行远程连接hive配置及遇到的问题
数据仓库·hive
jiedaodezhuti1 天前
hive两个表不同数据类型字段关联引发的数据倾斜
数据仓库·hive·hadoop
IvanCodes1 天前
五、Hive表类型、分区及数据加载
大数据·数据仓库·hive
镜舟科技1 天前
什么是数据集市(Data Mart)?
数据仓库·olap·数据集市·多维数据模型·在线分析处理·定制化数据
SelectDB技术团队2 天前
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
大数据·数据库·数据仓库·信息可视化·数据分析·doris·实时分析
Microsoft Word2 天前
数据仓库Hive
数据仓库·hive·hadoop
RestCloud3 天前
ETL交通行业案例丨某大型铁路运输集团ETL数据集成实践
数据仓库·etl·数字化转型·集成平台
chat2tomorrow3 天前
数据中台建设系列(五):SQL2API驱动的数据共享与服务化实践
大数据·数据库·数据仓库·sql·数据治理·数据中台·sql2api
IvanCodes3 天前
一、数据仓库基石:核心理论、分层艺术与 ETL/ELT 之辨
大数据·数据仓库·hive·etl
SelectDB技术团队3 天前
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
大数据·数据仓库·clickhouse·elasticsearch·信息可视化·doris·半结构化