大数据湖仓一体架构未来思考

湖仓一体架构是最近1-2年时间开始频繁出现在数据开发领域的新名词。也是各大公司竞相投入的对象。

网络上关于湖仓一体架构的实践文章很多,看得也很眼花缭乱。我们今天站在一个「接地气」的角度,来说一说湖仓一体架构中未来需要关注的核心框架有哪些。

文章内容也没有经过仔细的斟酌,完全是一点不成熟的想法,而且站的角度不是高屋建瓴的而是从下往上的。

一个基本判断是湖仓一体架构在形式上不止一种

大家可以从网上看到很多关于基于Doris、Paimon+Flink等等的不同的技术方案的实现。

几个例子,比如:

《从Clickhouse到Doris,湖仓一体架构升级实践》》

《字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践》

《B站基于Iceberg的湖仓一体架构实践》

所以你看基于Doris、Hudi、Iceberg等的湖仓方案在不同公司的落地形式完全不同。

但是一个基本的共识是,湖存储框架(Hudi/Iceberg/Paimon)、OLAP引擎(Clickhouse/Doris),计算引擎框架(Flink/Spark),在不同的架构中都扮演着重要的作用。

湖仓架构的几个特性和框架

存储&计算分离的架构是普遍的架构设计。

目前存储端类似Hudi/Paimon这样的框架是综合成本、效率最低、最推荐的框架。

不止如此,Flink、Doris在和湖存储框架兼容上在各个社区也是处于较高的优先级。举个例子就是Doris/StarRocks在Hudi、Paimon的外表能力支持上。

读写能力要求变高。

相比于传统的数仓开发中,读写能力以及ACID等能力对于湖仓架构下提出了更高的要求。

这个相信大家也都不陌生,传统的Lambda架构的数仓开发模式至今都是行业内各大公司的主流开发模式。

这套模式一方面受制于存储、计算成本不得已而为之,另外一方面是读写能力限制更多。

所以无论是Paimon还是Doris等这些框架在读写设计中都进行了大量的优化,例如Paimon支持主键表并为此进行了大量的读写优化,Doris本身作为OLAP引擎也进行了大量读写优化。

此外还有一些数据治理、数据服务类的要求我们就不过度展开了。

公司内部的落地偏好

在中大公司,从成本和效率的角度上,在小范围内验证后会更加激进的推进离线/在线融合,除了框架本身的特性支持外,大规模推进架构落地会被优先考虑。

在小公司或者特定的业务场景中,这些框架的「特性」才是更加被重视的部分,例如Changelog、Partial update等等。

所以未来你会看到,社区的分享也主要会有两大类组成。

第一类,偏向宏观叙事,聚焦在成本和架构演进。第二类,聚焦在技术方案,偏向特定场景下的业务解决方案。

这两类没有优劣之分,完全是站的视角不同。

所以我们不仅要从宏观上关注架构方向的演进,特定场景下的落地方案也应该多多考虑。

写的思路比较乱,凑合看吧。😄

相关推荐
微订校园外卖系统2 小时前
自己做校园外卖跑腿小程序用什么系统:多商户与单店架构
小程序·架构·外卖系统·本地生活·微订
深入云栈5 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构
Decay__6 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
国科安芯10 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
一条Go10 小时前
边缘 Agent:为什么是它连出来,而不是平台连进去
后端·架构·github
RuoyiOffice10 小时前
SpringBoot3+Vue3 采购到付款:ERP、WMS与财务如何按同一来源协同
java·spring boot·架构·vue
Decay__12 小时前
附 - 02・SQLServer 分库分表与中间件 —— 原生分区表、横向分库实践与联邦查询
运维·数据库·sql·mysql·架构
牧瀬クリスだ12 小时前
从零手写博客系统:分层架构与统一响应(一)
java·数据库·架构·mybatis·springboot·安全架构
练习两年半的攻城狮12 小时前
企业级 AI Agent 架构知识点讲解(一):从知识型到业务型,从 LangGraph 到生产落地
人工智能·架构
得物技术12 小时前
从研发经验到团队知识:Akashic知识工程实践|得物技术
数据库·程序员·架构