spark SQLQueryTestSuite sql 自动化测试用例

把SQL 添加到自动化测试用例。

./sql/core/src/test/resources/sql-tests/inputs 目录存放原始的SQL. ./sql/core/src/test/resources/sql-tests/results存放SQL的执行结果。在执行测试时,根据最新生成的结果和 ./sql/core/src/test/resources/sql-tests/results 进行对比。如果一样,则测试成功,否则失败。

SQLQueryTestSuite 是执行这些 SQL 的地方,对于 inputs 目录的每个文件,生成一个case。

如在inputs下增加一个 sum.sql 内容如下。

sql 复制代码
--SET spark.sql.codegen.wholeStage=true
CREATE table  t_sum_decimal (c1 decimal);

insert into t_sum_decimal values(1.0),(2.0),(3.0),(null);
	
select sum(c1/2) from t_sum_decimal;

explain codegen select sum(c1/2) from t_sum_decimal;

drop table t_sum_decimal;

生成对应的 resuts。

bash 复制代码
SPARK_GENERATE_GOLDEN_FILES=1 build/sbt "sql/testOnly *SQLQueryTestSuite -- -z sum.sql"
相关推荐
武子康9 小时前
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
大数据·后端·spark
闯闯桑1 天前
Spark 中spark.implicits._ 中的 toDF和DataFrame 类本身的 toDF 方法
大数据·ajax·spark·scala
武子康1 天前
大数据-94 Spark核心三剑客:RDD、DataFrame、Dataset与SparkSession全面解析
大数据·后端·spark
IT研究室2 天前
大数据毕业设计选题推荐-基于大数据的国内旅游景点游客数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
XueminXu2 天前
Spark提交任务的资源配置和优化
spark·并行度·spark-submit·driver-memory·num-executors·executor-memory·executor-cores
Leo.yuan2 天前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
小朋友,你是否有很多问号?2 天前
spark11-sparkSQL 实现wordcount
spark
IT研究室3 天前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
道一云黑板报3 天前
Spark生态全景图:图计算与边缘计算的创新实践
大数据·性能优化·spark·边缘计算
Lansonli3 天前
大数据Spark(六十三):RDD-Resilient Distributed Dataset
大数据·分布式·spark