火山引擎 ByteHouse:两个关键技术,揭秘 OLAP 引擎中的数据导入技术

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

数据导入是衡量 OLAP 引擎性能及易用性的重要标准之一,高效的数据导入能力能够加速数据实时处理和分析的效率。

作为一款 OLAP 引擎,火山引擎云原生数据仓库 ByteHouse 源于开源 ClickHouse,在字节跳动多年打磨下,提供更丰富的能力和更强性能,能为用户带来极速分析体验,支撑实时数据分析和海量离线数据分析,具备便捷的弹性扩缩容能力,极致的分析性能和丰富的企业级特性。

随着 ByteHouse 内外部用户规模不断扩大, 越来越多用户对数据导入提出更高的要求,这也为 ByteHouse 的数据导入能力带来了更大的挑战。

从字节跳动内部来看,ByteHouse 主要还是以 Kafka 为实时导入的主要数据源。对于大部分内部用户而言,其数据体量偏大,用户更看重数据导入的性能、服务的稳定性以及导入能力的可扩展性。在数据延时性方面,用户的需求一般为秒级左右。

基于以上场景和需求,ByteHouse 也进行了一系列定制性优化,主要包括两个方面,第一为 MaterializedMySQL 增强;第二个是 HaKafka 引擎。

社区版 ClickHouse 推出了 MaterializedMySQL 数据库引擎,用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。这样不依赖其他数据同步工具,就能将 MySQL 整库数据实时同步到 ClickHouse,从而能基于 ClickHouse 构建实时数据仓库。

而 HaKafka 引擎则是 ByteHouse 推出的一种特殊的表引擎,主要基于 ClickHouse 社区的 Kafka engine 进行了优化。用户可以通过一个 Kafka 消费表、分布式存储表、物化视图表,三元组实现数据消费、数据转换、数据写入功能。

9 月 16 日 14:00,火山引擎开发者社区与超话数据联合举办的线下沙龙,将邀请到火山引擎 ByteHouse 产品专家围绕《基于 ByteHouse 引擎的增强型数据导入技术实践》展开分享,为大家揭秘 MaterializedMySQL 和 HaKafka 的设计原理和技术实现,教你如何更好在 OLAP 引擎中完成高性能、高易用性的数据导入。

演讲主题:

《基于 ByteHouse 引擎的增强型数据导入技术实践》

主要内容:

  • ByteHouse 数据库架构演进
  • 增强 HaKafka 引擎实现方案
  • 增强 MaterializedMySQL 实现方案
  • 案例实践与未来展望

听众受益:

  • 了解 Bytehouse 基于引擎层数据导入能力

  • MaterializedMySQL 和 HaKafka 在业务中的实践

立即报名,赢取好礼:developer.volcengine.com/activities/...

点击跳转 火山引擎云原生数据仓库ByteHouse 了解更多

相关推荐
Dr.kangder7 分钟前
嵌入式面试总结(十四)——中断处理
单片机·面试·职场和发展·架构·硬件架构·嵌入式
Zane199410 分钟前
钻石继承调用哪个方法?一文讲透 MRO 与 C3 线性化算法
后端·python
码事漫谈12 分钟前
国产替代的硬核样本:金仓数据库如何撑起固井软件的数据底座
后端
chas_8822 分钟前
[学习笔记] Elpis 框架 DSL 设计总结
架构
老孙讲技术25 分钟前
【4G IPC 上云】临时点位怎么免布线上云?listDeviceDetailsByPage + 辅码流预览|智慧工地实战
后端·物联网
zhangjw3438 分钟前
第41篇:微服务入门:架构理念+核心组件,理解微服务本质
微服务·云原生·架构
hey you~1 小时前
北京连锁零售门店云客服系统搭建实战指南:从架构选型到落地验收
架构·零售·连锁零售·云客服搭建·门店数字化·通信原生架构
三品PLM系统1 小时前
PLM平台在制造业档案治理中的技术落地:OPPO设备后勤部架构、编码与权限解析 | 三品软件
架构·软件工程·plm·工程文档管理·制造业档案治理·三品软件
铁皮饭盒1 小时前
DeepSeek V4 Pro 0813发布了, 也可以部署到 Codex 了
前端·javascript·后端
苏三说技术2 小时前
推荐一个牛逼的企业智能招聘系统
后端