火山引擎ByteHouse助力车企实现高性能数据分析

更多技术交流、求职机会,欢迎关注字节跳动数据平台 微信公众号 ,**回复【1】**进入官方交流群。
新能源汽车市场正在迎来飞速发展时期。根据 IDC 预测,中国乘用车市场中,新能源车市场规模将在2028年超过2300万辆,年复合增长率为22.8%。
一套高可靠、高性能、高可用的数据分析系统对于新能源车及时发现和解决问题、保障车辆安全、提升产品质量都具有重要意义。
行业上曾有过电池温度过高,超过安全阈值,导致车辆事故的新闻报道。实时车辆信号数据分析系统则能实时监测电池温度、电流、电压等信号数据。当温度异常升高时,系统能够立即向车主发出警报,提醒车主采取措施,比如降低车速或尽快找到安全地点停车。同样,相关数据也会被实时传输回车辆制造商的服务器。制造商的技术团队可以迅速分析数据,判断是否是个别车辆的故障,还是存在批次性的产品质量问题。
为了支撑车辆数据系统对实时性的要求,车企在底层数据引擎选型上往往倾向于能对大规模数据、复杂场景的分析型数据库。作为火山引擎推出的一款定位于OLAP的分析型数据库,ByteHouse因其高性能、极致分析能力,进入某系能源车企的视野。
通过选取某一辆车一天的样例数据,车企模拟了近千亿条数据进行测试。在单表点查、单表聚合、关联聚合等查询场景中,基于相同SQL查询,相比于市场同类型产品,ByteHouse性能提升至少4倍。
据介绍,ByteHouse的高性能主要来源于其在复杂查询、宽表查询等场景中的系列优化措施。在复杂查询上,ByteHouse推出了一系列自研优化器,包括RBO(基于规则的优化能力)、CBO(基于代价的优化能力)、分布式计划生成等,能够准确的计算出效率最大化执行路径,大幅度降低用户查询时间。除此之外,ByteHouse还从Exchange、Runtime Filter以及并行化重构等方向进行了优化。在宽表查询场景中,ByteHouse主要通过全局字典、Zero copy以及UncompressedCache 来实现性能提升。

在此前发布的性能白皮书中,ByteHouse通过SSB、TPC-H 和 TPC-DS三种数据集测试结果展示了其性能硬实力。以性能著称的某开源OLAP作为基准测试产品,ByteHouse在不同查询项上都有显著的性能提升。以TPC-H 数据集举例,在相同硬件和软件环境下, ByteHouse 查询效率高于本次基准测试产品几十倍。
通过一系列技术优化手段,ByteHouse实现性能进一步提升,缩短查询执行时间、优化资源利用,能应对更复杂的查询场景,为用户提供更流畅的数据分析体验,应用于互联网、游戏、金融、汽车、气象等领域,助推数智化转型升级。
点击跳转 火山引擎云原生数仓ByteHouse 了解更多。

相关推荐
kakwooi24 分钟前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce
数新网络25 分钟前
《深入浅出Apache Spark》系列②:Spark SQL原理精髓全解析
大数据·sql·spark
CoderIsArt28 分钟前
Redis的三种模式:主从模式,哨兵与集群模式
数据库·redis·缓存
师太,答应老衲吧2 小时前
SQL实战训练之,力扣:2020. 无流量的帐户数(递归)
数据库·sql·leetcode
昌sit!3 小时前
K8S node节点没有相应的pod镜像运行故障处理办法
云原生·容器·kubernetes
Channing Lewis3 小时前
salesforce case可以新建一个roll up 字段,统计出这个case下的email数量吗
数据库·salesforce
毕业设计制作和分享5 小时前
ssm《数据库系统原理》课程平台的设计与实现+vue
前端·数据库·vue.js·oracle·mybatis
ketil275 小时前
Redis - String 字符串
数据库·redis·缓存
Hsu_kk6 小时前
MySQL 批量删除海量数据的几种方法
数据库·mysql
编程学无止境6 小时前
第02章 MySQL环境搭建
数据库·mysql