数据仓库·架构，建模（二）
一、架构
1、ETL
从业务库抽取，交互转换，加载到目的端，数据仓库最关键的一环就是抽取数据，清洗，加载数据到预先定义的数据仓，ETL规则设计和实施占数据仓搭建工作量的60%~80%。
（1）抽取（Extrantion） :抽取的数据为结构化，半结构化和非结构化数据，结构化数据一般为jdbc,数据库日志，非结构化数据为监听文件变动。（抽取时一般在闲时，会影响数据库IO）
抽取方式为全量（初始化）和增量（新增变动）。
（2）转换（transformation）
- 一般清洗重复的，二义性的，不完整的，违反业务逻辑规则的（一般结构化数据处理很少，一般就去重，非结构化操作复杂）
- 对数据进行标准化处理，进行字段，类型，数据定义的转换。
（3）数据加载（loading） ：将处理完数据转入目标源
（4）常用工具：
- 结构化：Sqoop, Kettle, DataStage(付费)，Information(付费)，kafka
- 半/非结构化：Flume, logstash
2、ODS（数据操作）
1、数据与原业务数据保持一致，可增加字段进行数据管理
2、存储数据，只读，提供业务查询
3、CMD（公共模型）
DWD：数据明细，对ODS数据清洗，标准化，维度化（时间，分类，地域），将某一类整合为一张宽表。
4、ADS（数据应用，也称为数据集市）
存储数据分析结果，为不同业务提供接口，减轻数据仓库负担。
二、建模。
OLAP：主要操作复杂查询，关注数据整合，分析和处理性能，根据存储数据不同分为：
- ROLAP：关系型，存储系统一般为RDBMS
- MOLAP：多维型，预先整合计算，使用多维数组形式保存，加快查询时间
- HOLAP：混合型，ROLAP和MOLAP的集成，底层关系型，高层多维矩阵，效率高于ROLAP，低于MOLAP