spark SQLQueryTestSuite sql 自动化测试用例

把SQL 添加到自动化测试用例。

./sql/core/src/test/resources/sql-tests/inputs 目录存放原始的SQL. ./sql/core/src/test/resources/sql-tests/results存放SQL的执行结果。在执行测试时,根据最新生成的结果和 ./sql/core/src/test/resources/sql-tests/results 进行对比。如果一样,则测试成功,否则失败。

SQLQueryTestSuite 是执行这些 SQL 的地方,对于 inputs 目录的每个文件,生成一个case。

如在inputs下增加一个 sum.sql 内容如下。

sql 复制代码
--SET spark.sql.codegen.wholeStage=true
CREATE table  t_sum_decimal (c1 decimal);

insert into t_sum_decimal values(1.0),(2.0),(3.0),(null);
	
select sum(c1/2) from t_sum_decimal;

explain codegen select sum(c1/2) from t_sum_decimal;

drop table t_sum_decimal;

生成对应的 resuts。

bash 复制代码
SPARK_GENERATE_GOLDEN_FILES=1 build/sbt "sql/testOnly *SQLQueryTestSuite -- -z sum.sql"
相关推荐
得物技术5 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
肌肉娃子9 天前
20260227.spark.Spark 性能刺客:千万别在 for 循环里写 withColumn
spark
B站计算机毕业设计超人10 天前
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)
大数据·vue.js·hadoop·python·spark·django·课程设计
十月南城10 天前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark
Asher050910 天前
Spark核心基础与架构全解析
大数据·架构·spark
FYKJ_201014 天前
springboot大学校园论坛管理系统--附源码42669
java·javascript·spring boot·python·spark·django·php
鸿乃江边鸟16 天前
Spark Datafusion Comet 向量化Rust Native--Native算子ScanExec以及涉及到的Selection Vectors
大数据·rust·spark·arrow
派可数据BI可视化17 天前
一文读懂系列:数据仓库为什么分层,分几层?数仓建模方法有哪些
大数据·数据仓库·信息可视化·spark·商业智能bi
码字的字节17 天前
锚点模型:数据仓库中的高度可扩展建模技术详解
大数据·数据仓库·spark