Starrocks 存算分离 VS Trino 性能测试

Starrocks 存算分离 VS Trino 性能测试

集群规模

• Starrocks ：存算分离 ON HDFS；8C 48G * 4 个 compute_nodes 1 个 FE 节点 4C8G;开启 datacache
• Trino : 13C 60G * 56 WORKER ； 整个公司公用，测试时负载较低;

测试结果记录

公司数仓生产数据，Trino 直连 Hive； Starrocks 使用 Hive catalog 外表进行查询:

• 测试1 : select count(1) from prd_ods.test_tb where dt >='20240101'

  数据量：145661928137

  Trino耗时：2m6s

  Starrocks耗时: 1m30s

• 测试2: select min(dt),max(dt) from hive.prd_ods.test_tb where dt >='20240101';

  数据: 145661928137

  Trino耗时：1m 40s

  Starrocks耗时: 4s

• 测试3：select count(1) from hive.prd_ods.test_tb where dt ='20240131';

  数据: 2376708461

  Trino耗时：31s

  Starrocks耗时: 5s

• 测试5 :

  select  good_code,address_code,sum(money),sum(qty)
  from hive.prd_ods.test_tb  where dt  ='20240131'
  group by good_code,address_code ;

  数据: 2376708461

  Trino耗时：累计使用内存达到 22T 查询失败(控制程序 KILL 大查询)

  Starrocks耗时: 13s

• 测试 6 :

  select *
  from hive.prd_ods.test_tb where dt  ='20240131' and good_code = 'xxxx' and address_code = 'xxxx';

  数据: 2376708461

  Trino耗时：19s

  Starrocks耗时: 9s

总结

此次分别从 聚合, 点查，分组等各种SQL进行测试；数据量都在 10 亿级别；综合性能 SR 领先 Trino。测完 下班 !!!