【数据仓库工具箱】DW/BI系统的核心元素和基本要求

核心元素

DW/BI 环境划分为4个不同的,各具特色的组成部分。分别是:操作型源数据,ETL系统,数据展现和商业智能应用。

操作型源数据 记录的是操作型系统,用于获取业务事务。源数据关注的是处理性能和可用性。源系统一般不维护历史信息,而这部分责任可以依靠好的数据仓库来实现。

数据获取-转换-加载 ETL系统 是处于操作型系统和数据展现区之间的部分,1. 获取是将数据从操纵型系统中导入数据仓库中,2. 数据转换,elt系统通过数据清洗/合并来自不同数据源的数据/复制数据等,增强数据价值,3.数据加载,实际构建和加载数据到展现区域的目标维度模型中。elt 过程的主要任务是识别维度和事实,因此其包含的子系统非常重要。

设计目标:吞吐率、完整性和一致性。

⚠️规划化结构难以同时满足可理解性和性能两个目标。
‼️ELT需要关注数据质量,一致性和完整性。

展现区 我们认为数据应该以维度模型来展现,星型模型或olap多维数据库。

⚠️处于DW/BI系统的可查询的展现区必须是维度化的,原子的(辅以增强性能的聚集),以业务为中心的。坚持使用总线矩阵结构的数据库,不应该是按照个别部门需要的数据来构建。

设计目标:方便实用、查询性能

商业智能BI 比如报表或者随意查询等等。

将DW/BI系统与餐厅类比

ETL系统与餐厅后厨

布置要高效,尽量减少时间运转

一致性:调味酱要提前做好,菜品的质量也要一致

厨房的输出要有一定的完整性

处于前端用餐区的数据展现和BI --- 交付的产品是展现区的数据

菜单:通过元数据/数据报表和参数化分析应用告诉用户什么数据可用。DW/BI 的用户希望获得一致的,良好的数据质量。

服务:发布的数据要满足需求,快速提供给业务用户和开发人员。

DW/BI 的基本需求

  1. 方便存取,及时访问和数据获取。
  2. 数据正确。
  3. 数据可用。
  4. DW 支持决策。
相关推荐
夕除3 小时前
javaweb--04
数据仓库·hive·hadoop
juniperhan1 天前
Flink 系列第4篇:Flink 时间系统与 Timer 定时器实战精讲
java·大数据·数据仓库·flink
juniperhan1 天前
link 系列第7篇:Flink 状态管理全解析(原理+类型+存储+实操)
大数据·数据仓库·flink
juniperhan1 天前
Flink 系列第6篇:Watermark 水印全解析(原理+实操+避坑)
大数据·数据仓库·flink
2501_933329552 天前
技术深度剖析:Infoseek 字节探索舆情处置系统的全链路架构与核心实现
大数据·数据仓库·人工智能·自然语言处理·架构
虚幻如影2 天前
Hive 中“STRING类型无需显式指定长度
数据仓库·hive·hadoop
荒川之神2 天前
Oracle 数据仓库雪花模型设计(完整实战方案)
数据库·数据仓库·oracle
RestCloud3 天前
2026年企业级ETL工具选型指南:从开源DataX到商业化ETLCloud的演进
数据仓库·开源·etl·datax·数据处理·数据集成·数据传输
荒川之神3 天前
Oracle 数据仓库星座模型(Galaxy Model)设计原则
数据库·数据仓库·oracle
瀚高PG实验室3 天前
ETL中,分区表子表未及时收集统计信息,导致sql执行耗时很长
数据库·数据仓库·sql·etl·瀚高数据库