文章目录
- [一. 数仓基本概念](#一. 数仓基本概念)
- [二. 离线数仓建设方法论](#二. 离线数仓建设方法论)
- [三. etl流程](#三. etl流程)
- [四. 数仓规范建设指南](#四. 数仓规范建设指南)
- [四. 数据仓库架构](#四. 数据仓库架构)
- [五. 数据可视化](#五. 数据可视化)
通过熟悉构建数仓整体的过程,可以系统的了解
- 数仓构建理论:能够站在全局角度看数仓的运行架构,数仓执行流程。
- 了解到构建数仓的每一步对应使用哪些技术;
总之学习数仓为我们提供了构建、管理和优化大数据架构的关键技能和知识。
接下来我们了解下数据仓库都有哪些知识点需要我们进行学习:
一. 数仓基本概念
- 数据仓库基础概念:
数据仓库概念、- 数据仓库架构:有如下架构:
1.数据集市、2.immon企业工厂架构、3. Kimball数据仓库架构、4.混合型数据架构- 数据仓库常见术语解析:维度模型和事实表
二. 离线数仓建设方法论
- 数仓分层方法
- 数仓建模方法:有如下三种方法:
--(三)范式法
-- 维度建模法
-- 实体建模法- 维度建模详解
维度建模和星型雪花模型的原则
三. etl流程
- 了解数据抽取、转换和加载的概念
- ETL工具都有哪些:flink、hive等
- 如何进行数据清洗、转换和汇总
四. 数仓规范建设指南
- 数仓公共开发规范,见如下开发规范
-- 层次调用规范
-- 数据类型规范
-- 数据冗余规范
-- NULL字段处理规范
-- 指标口径规范
-- 数据表处理规范
-- 表的生命周期管理- 数仓各层开发规范,见如下规范
-- ODS层设计规范
-- 公共维度层设计规范
-- DWD明细层设计规范
-- DWS公共汇总层设计规范- 数仓命名规范:词根设计规范
四. 数据仓库架构
数据仓库典型架构
数据仓库与数据湖、数据集市等概念的关系和区别。
五. 数据可视化
常见的数据可视化工具
如何设计仪表板和报表