湖仓一体(LakeHouse)框架

文档结构

能力 Iceberg Delta Lake (OSS) Hudi Paimon
核心定位 开放标准湖仓 Spark 生态湖仓 实时写入优化 Flink 原生流批一体存储
Flink 写入 事务写入成熟 仅读取 CDC 场景强 原生集成,无需 Connector
Spark 写入 √ √ 实验性支持,性能一般 -
Upsert 性能 CoW 支持;MOR 孵化 MOR 支持(中等) MOR 延迟最低(Flink CDC) Changelog 模式,端到端 < 1s
多引擎查询 Trino/StarRocks 原生 需 Standalone 依赖 Hive Sync Trino 420+、StarRocks 3.2+ 支持
Schema Evolution 列增删改 列增改 列增改 列增改,删除需 soft delete
小文件治理 异步 Compaction 自动 Optimize Clustering + Compaction 自动合并(LSM 结构天然抗小文件)
典型场景 多引擎分析、开放生态 Databricks 用户、Spark 主导 高频 CDC、Flink + Spark 混合 纯 Flink 实时链路、流批统一存储

===================================== over ================================================

相关推荐
俊哥大数据1 天前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 1 章 业务背景与传统 Lambda 架构痛点
大数据·doris·湖仓一体·flinksql·paimon
俊哥大数据1 天前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 2 章 流批一体湖仓总体架构与三条分区契约铁律
flink·doris·湖仓一体·paimon
俊哥大数据1 天前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 4 章 Kafka 企标报文入湖(ODS 表设计)
flink·doris·湖仓一体·paimon·流批一体
俊哥大数据1 天前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 3 章 Paimon 1.4 湖仓底座与 Catalog 配置
flink·doris·湖仓一体·paimon
EatFan12 天前
从T+1到分钟级:湖仓一体在大厂的真实落地收益对照(携程/网易云信/腾讯)
starrocks·flink·硬件架构·doris·湖仓一体·paimon
Lancker19 天前
湖仓一体(Lakehouse)知识全解
湖仓一体
Moshow郑锴20 天前
从“水库”到“直饮水站”:重新理解 Data Mart 与 Data Lake、Data Lakehouse、Data Warehouse 的区别
数据仓库·data·湖仓一体
SelectDB技术团队1 个月前
Apache Doris 5.0 年度版本前瞻(一):构建统一的多模湖仓实时分析平台
大数据·doris·数据湖·湖仓一体·lakehouse·湖仓分析·多模分析
迈巴赫车主3 个月前
湖仓一体(Data Lakehouse)简介
大数据·数据仓库·数据湖·湖仓一体
递归尽头是星辰4 个月前
大数据架构体系通识:存储、架构与数仓分层全解析
lambda·湖仓一体·大数据架构·kappa·数据仓库分层