trino tpcds测试

先下载tpcds-kit(有Linux和macOS),根据其文档生成数据和查询的sql。

然后hive-testbench,在ddl-tpcds/text/alltables.sql中有建表语句(用hive建表)。

建完表后LOAD DATA local INPATH "/Users/ding/tools/tpcds-kit/data/web_site.dat" OVERWRITE INTO TABLE tpcds.web_site;导入数据到对应表里。

写test.sh和trino-tpcds.sh两个脚本跑99条sql(q72可能失败,可将其删除)

test.sh如下

#!/bin/bash
for sql in `find tpcds-queries -type f`
do 
	sh trino-tpcds.sh ${sql}
done

trino-tpcds.sh如下

#!/bin/bash
echo $1:
java -jar trino-cli-406-executable.jar --server IP_ADDRESS:8080  --catalog hive --schema tpcds  -f $1 --progress
echo "$1 end"

执行命令nohuo sh test.sh &

nohup会将命令的输出结果重定向到nohup.out中,然后vim nohup.out,通过搜索tpcds-queries关键字查看每条sql的运行时间

相关推荐
青云交1 个月前
大数据新视界 --大数据大厂之 Presto 性能优化秘籍:加速大数据交互式查询
大数据·数据库·性能优化·presto·数据一致性·查询优化·交互式查询·传统查询工具
尘世壹俗人2 个月前
Presto如何配置资源队列或资源组
presto
SelectDB技术团队2 个月前
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
数据库·doris·trino·湖仓一体·lakehouse
逆风就重开3 个月前
如何学习Presto:糙快猛的大数据之路(建立整体框架)
大数据·hive·学习·presto
小的~~5 个月前
Mac M3 Pro 部署Trino-server-449
hive·sql·macos·trino·prestosql
红烛暗盗梦8 个月前
432trino 内存相关配置
大数据·trino
光于前裕于后10 个月前
记一次低级且重大的Presto运维事故
运维·presto
Dreammmming Time10 个月前
Trino:分区表上的SQL提交 & 查询流程浅析
java·大数据·olap·trino
applebomb10 个月前
【湖仓一体尝试】MYSQL和HIVE数据联合查询
hive·hadoop·flink·iceberg·trino
数据科学知识库1 年前
SQL---Zeppeline前驱记录与后驱记录查询
数据库·sql·presto·zeppeline