Starrocks 存算分离 VS Trino 性能测试

Starrocks 存算分离 VS Trino 性能测试

集群规模

  • Starrocks :存算分离 ON HDFS;8C 48G * 4 个 compute_nodes 1 个 FE 节点 4C8G;开启 datacache
  • Trino : 13C 60G * 56 WORKER ; 整个公司公用,测试时负载较低;

测试结果记录

公司数仓生产数据,Trino 直连 Hive; Starrocks 使用 Hive catalog 外表进行查询:

  • 测试1 : select count(1) from prd_ods.test_tb where dt >='20240101'

    数据量:145661928137

    Trino耗时:2m6s

    Starrocks耗时: 1m30s

  • 测试2: select min(dt),max(dt) from hive.prd_ods.test_tb where dt >='20240101';

    数据: 145661928137

    Trino耗时:1m 40s

    Starrocks耗时: 4s

  • 测试3:select count(1) from hive.prd_ods.test_tb where dt ='20240131';

    数据: 2376708461

    Trino耗时:31s

    Starrocks耗时: 5s

  • 测试5 :

    sql 复制代码
    select  good_code,address_code,sum(money),sum(qty)
    from hive.prd_ods.test_tb  where dt  ='20240131'
    group by good_code,address_code ;

    数据: 2376708461

    Trino耗时:累计使用内存达到 22T 查询失败(控制程序 KILL 大查询)

    Starrocks耗时: 13s

  • 测试 6 :

    sql 复制代码
    select *
    from hive.prd_ods.test_tb where dt  ='20240131' and good_code = 'xxxx' and address_code = 'xxxx';

    数据: 2376708461

    Trino耗时:19s

    Starrocks耗时: 9s

总结

此次分别从 聚合, 点查,分组等各种SQL进行测试;数据量都在 10 亿级别;综合性能 SR 领先 Trino。测完 下班 !!!

相关推荐
SelectDB10 分钟前
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
大数据·数据库·数据分析
合合技术团队1 小时前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别
阳区欠2 小时前
【Linux】进程通信
linux·运维·服务器·共享内存·进程通信·system v·管道文件
may_一一2 小时前
终端SSH连接工具SecureCRT安装和连接Linux
运维·服务器·ssh
lilye663 小时前
程序化广告行业(39/89):广告投放的数据分析与优化秘籍
大数据·人工智能·数据分析
姓刘的哦3 小时前
Ubuntu环境安装
linux·运维·ubuntu
春生黎至10053 小时前
GZ073网络系统管理赛项赛题第1套模块A:网络构建解题笔记
运维·网络
IT程序媛-桃子3 小时前
【网安面经合集】42 道高频 Web 安全面试题全解析(附原理+防御+思路)
运维·网络·安全·面试
❀͜͡傀儡师4 小时前
多台服务器上docker部署 Redis 集群
运维·服务器·redis
JCBP_4 小时前
数据结构4
运维·c语言·数据结构·vscode