Apache Paimon 介绍

从 Flink Table Store 演进而来

架构如下图:

(和今天 Paimon 的架构相比,Log System 不再被推荐使用,Lake Store 的能力大幅强于 Log System,除了延时)

2021 年 9 月,发布了 0.2 版本,陆续有在生产使用。

Flink Table Store 是一个数据湖存储,用于实时流式 Changelog 写入 (比如来自 Flink CDC 的数据) 和高性能查询。它创新性的结合湖存储和 LSM 结构,深度对接 Flink,提供实时更新的系统设计,支撑大吞吐量的更新数据摄取,同时提供良好的查询性能。

0.3 形成了一个 Streaming Lakehouse 的基本雏形,我们可以比较自信的说出,0.3 可以推荐生产可用了。

基于 Flink Table Store 不仅可以支持数据实时入湖,而且支持 Partial Update 等功能,帮助用户更灵活的在延迟和成本之间做均衡。

Apache Paimon

在发布了三个版本后,虽然 Flink Table Store 具备了一定的成熟度,但作为 Flink 社区的一个子项目,在生态发展(比如 Spark 用户选择和使用)方面存在比较明显的局限性。为了让 Flink Table Store 能够有更大的发展空间和生态体系, Flink PMC 经过讨论决定将其捐赠 ASF 进行独立孵化。

2023 年 3 月 12 日,Flink Table Store 项目顺利通过投票,正式进入 Apache 软件基金会 (ASF) 的孵化器,改名为 Apache Paimon (incubating)。

进入孵化器后,Paimon 得到了众多的关注,包括 阿里云、字节跳动、Bilibili、汽车之家、蚂蚁 等多家公司参与到 Apache Paimon 的贡献,也得到了广大用户的使用。

Paimon 和 Flink 集成也在继续,Paimon 集成了 Flink CDC,提出了全自动的 数据 + Schema 的同步,整库同步,带来更高性能的入湖、更低的入湖成本、更方便的入湖体验。
image.png

解决问题:

1、Paimon 实时 CDC 入湖

2、Paimon 实时宽表与流读

Apache Paimon 架构:
image.png

Streaming Lakehouse 架构:

1、数据全链路实时流动,同时沉淀所有数据,提供 AD-HOC 查询

2、通用的离线数据实时化,流批融合的一套数仓
image.png

参考资料:

当流计算邂逅数据湖:Paimon 的前生今世

相关推荐
lang201509285 小时前
Apache Ignite 的 JDBC Client Driver(JDBC 客户端驱动)
apache·ignite
白鹭1 天前
基于LNMP架构的分布式个人博客搭建
linux·运维·服务器·网络·分布式·apache
努力的小郑1 天前
亿级流量下的生死抉择:Apache BeanUtils vs MapStruct性能差距32倍!架构师选型指南
java·spring·apache
努力的小郑1 天前
BeanUtils拷贝大对决:Spring与Apache Commons的差异与妙用
java·spring·apache
自由鬼2 天前
Apache HTTP Server 2.4.49 的目录遍历漏洞CVE-2021-41773
网络协议·http·apache
lang201509282 天前
Apache Ignite 索引(Indexes)定义和使用
apache·ignite
百川2 天前
Apache文件解析漏洞
web安全·apache
胖胖胖胖胖虎2 天前
Apache Ranger 权限管理
apache
ahauedu2 天前
Apache POI 依赖版本冲突导致 NoSuchFieldError: Factory 报错
java·maven·apache
SelectDB3 天前
浩瀚深度:从 ClickHouse 到 Doris,支撑单表 13PB、534 万亿行的超大规模数据分析场景
大数据·数据库·apache