Starrocks 存算分离 VS Trino 性能测试

Starrocks 存算分离 VS Trino 性能测试

集群规模

  • Starrocks :存算分离 ON HDFS;8C 48G * 4 个 compute_nodes 1 个 FE 节点 4C8G;开启 datacache
  • Trino : 13C 60G * 56 WORKER ; 整个公司公用,测试时负载较低;

测试结果记录

公司数仓生产数据,Trino 直连 Hive; Starrocks 使用 Hive catalog 外表进行查询:

  • 测试1 : select count(1) from prd_ods.test_tb where dt >='20240101'

    数据量:145661928137

    Trino耗时:2m6s

    Starrocks耗时: 1m30s

  • 测试2: select min(dt),max(dt) from hive.prd_ods.test_tb where dt >='20240101';

    数据: 145661928137

    Trino耗时:1m 40s

    Starrocks耗时: 4s

  • 测试3:select count(1) from hive.prd_ods.test_tb where dt ='20240131';

    数据: 2376708461

    Trino耗时:31s

    Starrocks耗时: 5s

  • 测试5 :

    sql 复制代码
    select  good_code,address_code,sum(money),sum(qty)
    from hive.prd_ods.test_tb  where dt  ='20240131'
    group by good_code,address_code ;

    数据: 2376708461

    Trino耗时:累计使用内存达到 22T 查询失败(控制程序 KILL 大查询)

    Starrocks耗时: 13s

  • 测试 6 :

    sql 复制代码
    select *
    from hive.prd_ods.test_tb where dt  ='20240131' and good_code = 'xxxx' and address_code = 'xxxx';

    数据: 2376708461

    Trino耗时:19s

    Starrocks耗时: 9s

总结

此次分别从 聚合, 点查,分组等各种SQL进行测试;数据量都在 10 亿级别;综合性能 SR 领先 Trino。测完 下班 !!!

相关推荐
安全系统学习1 小时前
网络安全之红队LLM的大模型自动化越狱
运维·人工智能·安全·web安全·机器学习·php
2302_799525741 小时前
【Linux】第十二章 安装和更新软件包
linux·运维·服务器
qq_339282231 小时前
docker打开滚动日志
运维·docker·容器
!chen1 小时前
Hadoop和Spark大数据挖掘与实战
hadoop·数据挖掘·spark
拓端研究室TRL1 小时前
PyMC+AI提示词贝叶斯项目反应IRT理论Rasch分析篮球比赛官方数据:球员能力与位置层级结构研究
大数据·人工智能·python·算法·机器学习
ImAlex2 小时前
Linux脚本实现自动化运维任务实战案例:系统自动备份、日志轮转、系统更新、资源监控、自动化定时任务调度
linux·运维
杨凯凡2 小时前
Linux日志分析:安全运维与故障诊断全解析
linux·运维·服务器
漂流瓶6666662 小时前
如何搭建spark yarn 模式的集群
大数据·spark·eclipse
CJ点3 小时前
Deepseek-v3+cline+vscode java自动化编程
运维·自动化
愚润求学3 小时前
【Linux】进程优先级和进程切换
linux·运维·服务器·c++·笔记