spark SQLQueryTestSuite sql 自动化测试用例

把SQL 添加到自动化测试用例。

./sql/core/src/test/resources/sql-tests/inputs 目录存放原始的SQL. ./sql/core/src/test/resources/sql-tests/results存放SQL的执行结果。在执行测试时,根据最新生成的结果和 ./sql/core/src/test/resources/sql-tests/results 进行对比。如果一样,则测试成功,否则失败。

SQLQueryTestSuite 是执行这些 SQL 的地方,对于 inputs 目录的每个文件,生成一个case。

如在inputs下增加一个 sum.sql 内容如下。

sql 复制代码
--SET spark.sql.codegen.wholeStage=true
CREATE table  t_sum_decimal (c1 decimal);

insert into t_sum_decimal values(1.0),(2.0),(3.0),(null);
	
select sum(c1/2) from t_sum_decimal;

explain codegen select sum(c1/2) from t_sum_decimal;

drop table t_sum_decimal;

生成对应的 resuts。

bash 复制代码
SPARK_GENERATE_GOLDEN_FILES=1 build/sbt "sql/testOnly *SQLQueryTestSuite -- -z sum.sql"
相关推荐
yumgpkpm9 小时前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
bigdata-rookie1 天前
Spark 部署模式
大数据·分布式·spark
sheji34162 天前
【开题答辩全过程】以 基于Spark的药品库存可视化分析系统为例,包含答辩的问题和答案
大数据·分布式·spark
larance2 天前
spark-submit 常用方式
大数据·spark
A尘埃2 天前
Spark基于内存计算的数据处理
大数据·分布式·spark
bigdata-rookie2 天前
Flink Checkpoint 和 Spark Checkpoint 的区别
大数据·flink·spark
灯下夜无眠3 天前
conda打包环境上传spark集群
大数据·spark·conda
杂家3 天前
Hive on Spark && Spark on Hive配置
大数据·数据仓库·hive·hadoop·spark
bigdata-rookie3 天前
Spark SQL 简介
大数据·sql·spark
lhyzws3 天前
CENTOS上的网络安全工具(二十八)SPARK+NetSA Security Tools容器化部署(4)
linux·spark·centos