当OLAP碰撞Serverless,看ByteHouse如何建设下一代云计算架构

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

作为云计算的下一个迭代,Serverless 可以使开发者更专注于构建产品中的应用,而无需考虑底层堆栈问题。伴随着近年来相关技术成熟度的增加,市场对 Serverless 的接受程度也变得越来越高。可以说时至今日,Serverless 已迈入了向成熟稳定方向发展的高速轨道。

作为一款火山引擎推出的云原生数据仓库,ByteHouse 基于开源 ClickHouse 构建,并在字节跳动内外部场景的检验下,对 OLAP 引擎能力、性能、运维、架构进一步升级。除此之外,ByteHouse 也在 Serverless 方向探索,基于 cloud-native 云原生的理念构建了全新一代的数据仓库,架构上进行了三层解耦,期望在 Serverless 的加持下,提供更稳定、可靠、可信的分析服务,让开发人员时间精力从基础设施运维优化上解放,更聚焦在核心业务功能中。

然而,在 OLAP 领域的 Serverless 技术实现上,仍然存在一些技术难点。

首先,OLAP 数据分析涉及到存储、网络、操作系统、数据库、AI 等 IT 领域几乎全栈的技术点,需要厂商做持续的、高成本的研发投入。而且这些投入短期内难见市场回报,一旦中途停顿则意味着前期的投入全都"打水漂"。

其次,虽然已经有几款商用的 Serverless 架构的数据仓库,但是其提供的算力规模很难支撑中大型规模的数据仓库或者分析平台的需求。也就是说,Serverless 架构的数据仓库还需要在算力上做进一步的提升。

最后,Serverless 的规模化应用还面临服务标准化的问题。没有标准化的规范会导致用户被平台锁定,无法实现应用的平移、无缝搬迁。因此,为了推动 Serverless 的规模化应用,需要有与之配套的标准和规范体系。

为了更好解决以上难点,火山引擎 ByteHouse 逐步向 Serverless 架构演进,并针对存储层、中间层以及云服务层进行三层架构解耦。

ByteHouse 向 Serverless 演进的技术架构

在存储层的设计中,ByteHouse 实现了 Serverless 化、弹性伸缩、容量无限扩展。为提升存算分离架构下的性能问题,ByteHouse 针对 HDFS 语义优化,让带宽仅增加 10%的情况下,延迟减少 3 倍,并在网络通信上, 采用连接复用、RDMA、传输压缩等技术,大幅缓解了网络放大问题。

在中间层,ByteHouse 通过按读写进行隔离、按应用类别进行隔离等方式实现负载隔离,在满足用户基本需求的情况下,实现架构逐步向 Serverless 演进。

在上层的 cloud services 云服务层,ByteHouse 提供集中化的 catalog 元数据服务、集群管理服务等,让元数据从计算层解耦,实现了无状态化,获得秒级的弹性伸缩和启停能力。

Serverless 在 OLAP 领域的应用依然面临一些挑战,但随着技术的不断演进和迭代,标准化的规范体系的建立和完善,ByteHouse 将持续探索和应用 Serverless 架构优势,为行业和用户提供更优质的数据分析服务。

点击跳转ByteHouse了解更多

相关推荐
说私域1 小时前
基于开源AI大模型与S2B2C模式的线下服务型门店增长策略研究——以AI智能名片与小程序源码技术为核心
大数据·人工智能·小程序·开源
V_HY147621 小时前
AI碰一碰发视频获客工具,系统开发逻辑详细解析
大数据·人工智能·新媒体运营·流量运营
遇码1 小时前
单机快速部署开源、免费的分布式任务调度系统——DolphinScheduler
大数据·运维·分布式·开源·定时任务·dolphin·scheduler
一个天蝎座 白勺 程序猿2 小时前
大数据(4.2)Hive核心操作实战指南:表创建、数据加载与分区/分桶设计深度解析
大数据·hive·hadoop
计算机毕设定制辅导-无忧学长2 小时前
TDengine 核心概念与时序数据模型深度解析(一)
大数据·时序数据库·tdengine
TDengine (老段)3 小时前
TDengine 中的命名与边界
大数据·数据库·物联网·oracle·时序数据库·tdengine·iotdb
Acrelhuang5 小时前
8.3MW屋顶光伏+光储协同:上海汽车变速器低碳工厂的能源革命-安科瑞黄安南
大数据·数据库·人工智能·物联网·数据库开发
阿里云云原生5 小时前
Java版Manus实现来了,Spring AI Alibaba发布开源OpenManus实现
云原生
阿里云云原生5 小时前
当实时消费遇到 SPL:让数据处理更高效、简单
云原生
SelectDB6 小时前
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
大数据·数据库·数据分析