【Hudi】核心概念

https://www.bilibili.com/video/BV1ue4y1i7na?p=17\&vd_source=fa36a95b3c3fa4f32dd400f8cabddeaf

大数据新风口：Hudi数据湖（尚硅谷&Apache Hudi联合出品）

1 基础概念

1.1 时间轴(TimeLine)

1.2 文件布局(File Layout)

1.3 索引(Index)

1.4 表类型(Table Types)

COW (Copy on write) 只有列存基础数据文件*.parquet，没有行级的增量日志*.log文件, 每一个批次写完都会生成新的FileSlice。不需要其他tableservice(比如compact)

MOR(Merge on read) 有列存基础数据文件*.parquet 和行级的增量日志*.log文件

1.5 查询类型 (Query Types)

1. Snapshot query 最新快照数据

2. Increment query

3. Read Optimized query 对MOR只读到最新parquet 为合并的log读不到