大数据湖仓一体架构未来思考

湖仓一体架构是最近1-2年时间开始频繁出现在数据开发领域的新名词。也是各大公司竞相投入的对象。

网络上关于湖仓一体架构的实践文章很多,看得也很眼花缭乱。我们今天站在一个「接地气」的角度,来说一说湖仓一体架构中未来需要关注的核心框架有哪些。

文章内容也没有经过仔细的斟酌,完全是一点不成熟的想法,而且站的角度不是高屋建瓴的而是从下往上的。

一个基本判断是湖仓一体架构在形式上不止一种

大家可以从网上看到很多关于基于Doris、Paimon+Flink等等的不同的技术方案的实现。

几个例子,比如:

《从Clickhouse到Doris,湖仓一体架构升级实践》

《字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践》

《B站基于Iceberg的湖仓一体架构实践》

所以你看基于Doris、Hudi、Iceberg等的湖仓方案在不同公司的落地形式完全不同。

但是一个基本的共识是,湖存储框架(Hudi/Iceberg/Paimon)、OLAP引擎(Clickhouse/Doris),计算引擎框架(Flink/Spark),在不同的架构中都扮演着重要的作用。

湖仓架构的几个特性和框架

存储&计算分离的架构是普遍的架构设计。

目前存储端类似Hudi/Paimon这样的框架是综合成本、效率最低、最推荐的框架。

不止如此,Flink、Doris在和湖存储框架兼容上在各个社区也是处于较高的优先级。举个例子就是Doris/StarRocks在Hudi、Paimon的外表能力支持上。

读写能力要求变高。

相比于传统的数仓开发中,读写能力以及ACID等能力对于湖仓架构下提出了更高的要求。

这个相信大家也都不陌生,传统的Lambda架构的数仓开发模式至今都是行业内各大公司的主流开发模式。

这套模式一方面受制于存储、计算成本不得已而为之,另外一方面是读写能力限制更多。

所以无论是Paimon还是Doris等这些框架在读写设计中都进行了大量的优化,例如Paimon支持主键表并为此进行了大量的读写优化,Doris本身作为OLAP引擎也进行了大量读写优化。

此外还有一些数据治理、数据服务类的要求我们就不过度展开了。

公司内部的落地偏好

在中大公司,从成本和效率的角度上,在小范围内验证后会更加激进的推进离线/在线融合,除了框架本身的特性支持外,大规模推进架构落地会被优先考虑。

在小公司或者特定的业务场景中,这些框架的「特性」才是更加被重视的部分,例如Changelog、Partial update等等。

所以未来你会看到,社区的分享也主要会有两大类组成。

第一类,偏向宏观叙事,聚焦在成本和架构演进。第二类,聚焦在技术方案,偏向特定场景下的业务解决方案。

这两类没有优劣之分,完全是站的视角不同。

所以我们不仅要从宏观上关注架构方向的演进,特定场景下的落地方案也应该多多考虑。

写的思路比较乱,凑合看吧。😄

相关推荐
打好高远球1 小时前
如何用AI破解相亲信息不对称
架构
泊浮目2 小时前
未来数据库硬件-网络篇
数据库·架构·云计算
鹏程十八少2 小时前
8.Android 设计模式 适配器模式 在商业项目中的落地
架构
不骞2 小时前
5.solidity的数据结构
架构
星辰大海的精灵2 小时前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
魔镜魔镜_谁是世界上最漂亮的小仙女2 小时前
java-web开发
java·后端·架构
Java烘焙师3 小时前
架构师必备:业务扩展模式选型
mysql·elasticsearch·架构·hbase·多维度查询
掘金-我是哪吒3 小时前
分布式微服务系统架构第157集:JavaPlus技术文档平台日更-Java多线程编程技巧
java·分布式·微服务·云原生·架构
掘金-我是哪吒4 小时前
分布式微服务系统架构第155集:JavaPlus技术文档平台日更-Java线程池实现原理
java·分布式·微服务·云原生·架构
DemonAvenger4 小时前
TCP连接池设计与实现:提升Go应用网络性能
网络协议·架构·go