trino tpcds测试

csding112023-10-18 15:20

先下载tpcds-kit（有Linux和macOS），根据其文档生成数据和查询的sql。

然后hive-testbench，在ddl-tpcds/text/alltables.sql中有建表语句（用hive建表）。

建完表后LOAD DATA local INPATH "/Users/ding/tools/tpcds-kit/data/web_site.dat" OVERWRITE INTO TABLE tpcds.web_site;导入数据到对应表里。

写test.sh和trino-tpcds.sh两个脚本跑99条sql（q72可能失败，可将其删除）

test.sh如下

复制代码

#!/bin/bash
for sql in `find tpcds-queries -type f`
do 
	sh trino-tpcds.sh ${sql}
done

trino-tpcds.sh如下

复制代码

#!/bin/bash
echo $1:
java -jar trino-cli-406-executable.jar --server IP_ADDRESS:8080  --catalog hive --schema tpcds  -f $1 --progress
echo "$1 end"

执行命令nohuo sh test.sh &

nohup会将命令的输出结果重定向到nohup.out中，然后vim nohup.out，通过搜索tpcds-queries关键字查看每条sql的运行时间