火山引擎ByteHouse助力车企实现高性能数据分析

更多技术交流、求职机会,欢迎关注字节跳动数据平台 微信公众号 ,**回复【1】**进入官方交流群。
新能源汽车市场正在迎来飞速发展时期。根据 IDC 预测,中国乘用车市场中,新能源车市场规模将在2028年超过2300万辆,年复合增长率为22.8%。
一套高可靠、高性能、高可用的数据分析系统对于新能源车及时发现和解决问题、保障车辆安全、提升产品质量都具有重要意义。
行业上曾有过电池温度过高,超过安全阈值,导致车辆事故的新闻报道。实时车辆信号数据分析系统则能实时监测电池温度、电流、电压等信号数据。当温度异常升高时,系统能够立即向车主发出警报,提醒车主采取措施,比如降低车速或尽快找到安全地点停车。同样,相关数据也会被实时传输回车辆制造商的服务器。制造商的技术团队可以迅速分析数据,判断是否是个别车辆的故障,还是存在批次性的产品质量问题。
为了支撑车辆数据系统对实时性的要求,车企在底层数据引擎选型上往往倾向于能对大规模数据、复杂场景的分析型数据库。作为火山引擎推出的一款定位于OLAP的分析型数据库,ByteHouse因其高性能、极致分析能力,进入某系能源车企的视野。
通过选取某一辆车一天的样例数据,车企模拟了近千亿条数据进行测试。在单表点查、单表聚合、关联聚合等查询场景中,基于相同SQL查询,相比于市场同类型产品,ByteHouse性能提升至少4倍。
据介绍,ByteHouse的高性能主要来源于其在复杂查询、宽表查询等场景中的系列优化措施。在复杂查询上,ByteHouse推出了一系列自研优化器,包括RBO(基于规则的优化能力)、CBO(基于代价的优化能力)、分布式计划生成等,能够准确的计算出效率最大化执行路径,大幅度降低用户查询时间。除此之外,ByteHouse还从Exchange、Runtime Filter以及并行化重构等方向进行了优化。在宽表查询场景中,ByteHouse主要通过全局字典、Zero copy以及UncompressedCache 来实现性能提升。

在此前发布的性能白皮书中,ByteHouse通过SSB、TPC-H 和 TPC-DS三种数据集测试结果展示了其性能硬实力。以性能著称的某开源OLAP作为基准测试产品,ByteHouse在不同查询项上都有显著的性能提升。以TPC-H 数据集举例,在相同硬件和软件环境下, ByteHouse 查询效率高于本次基准测试产品几十倍。
通过一系列技术优化手段,ByteHouse实现性能进一步提升,缩短查询执行时间、优化资源利用,能应对更复杂的查询场景,为用户提供更流畅的数据分析体验,应用于互联网、游戏、金融、汽车、气象等领域,助推数智化转型升级。
点击跳转 火山引擎云原生数仓ByteHouse 了解更多。

相关推荐
眠りたいです25 分钟前
基于脚手架微服务的视频点播系统-播放控制部分
c++·qt·ui·微服务·云原生·架构·播放器
雨落Liy33 分钟前
SQL 函数从入门到精通:原理、类型、窗口函数与实战指南
数据库·sql
2301_781668611 小时前
Elasticsearch 02
大数据·elasticsearch·搜索引擎
Kt&Rs1 小时前
MySQL复制技术的发展历程
数据库·mysql
小小菜鸡ing1 小时前
pymysql
java·服务器·数据库
手握风云-2 小时前
MySQL数据库精研之旅第十六期:深度拆解事务核心(上)
数据库·mysql
isfox2 小时前
Google GFS 深度解析:分布式文件系统的开山之作
大数据·hadoop
boonya2 小时前
Redis核心原理与面试问题解析
数据库·redis·面试
沙二原住民3 小时前
提升数据库性能的秘密武器:深入解析慢查询、连接池与Druid监控
java·数据库·oracle
用户Taobaoapi20143 小时前
京东店铺所有商品API技术开发文档
大数据·数据挖掘·数据分析