spark SQLQueryTestSuite sql 自动化测试用例

把SQL 添加到自动化测试用例。

./sql/core/src/test/resources/sql-tests/inputs 目录存放原始的SQL. ./sql/core/src/test/resources/sql-tests/results存放SQL的执行结果。在执行测试时,根据最新生成的结果和 ./sql/core/src/test/resources/sql-tests/results 进行对比。如果一样,则测试成功,否则失败。

SQLQueryTestSuite 是执行这些 SQL 的地方,对于 inputs 目录的每个文件,生成一个case。

如在inputs下增加一个 sum.sql 内容如下。

sql 复制代码
--SET spark.sql.codegen.wholeStage=true
CREATE table  t_sum_decimal (c1 decimal);

insert into t_sum_decimal values(1.0),(2.0),(3.0),(null);
	
select sum(c1/2) from t_sum_decimal;

explain codegen select sum(c1/2) from t_sum_decimal;

drop table t_sum_decimal;

生成对应的 resuts。

bash 复制代码
SPARK_GENERATE_GOLDEN_FILES=1 build/sbt "sql/testOnly *SQLQueryTestSuite -- -z sum.sql"
相关推荐
D愿你归来仍是少年9 小时前
Apache Spark 第 9 章:Spark 性能调优
大数据·spark·apache
Hello.Reader10 小时前
Spark 4.0 新特性Python Data Source API 快速上手
python·ajax·spark
墨^O^13 小时前
并发控制策略与分布式数据重排:锁机制、Redis 分片与 Spark Shuffle 简析
java·开发语言·c++·学习·spark
Hello.Reader13 小时前
Pandas API on Spark 配置选项系统、默认索引与性能调优
大数据·spark·pandas
talen_hx2961 天前
《零基础入门Spark》学习笔记 Day 07
笔记·学习·spark
绿算技术2 天前
OpenClaw × GP Spark:本地智能与极速存储的终极融合
大数据·分布式·spark
Hello.Reader2 天前
Spark Connect 快速入门远程连接 Spark 集群实战
javascript·ajax·spark
Hello.Reader2 天前
Pandas API on Spark 快速入门像写 Pandas 一样使用 Spark
大数据·spark·pandas
talen_hx2964 天前
《零基础入门Spark》学习笔记 Day 06
笔记·学习·spark
D愿你归来仍是少年4 天前
Apache Spark 第 8 章:Structured Streaming 流处理
大数据·spark·apache