如何通过spark history页面查看gluten是否集成成功

要通过Spark History页面确认Gluten是否集成成功,请按照以下步骤操作:

1. 检查Spark页面

1. 检查Spark配置

进入Environment标签页

◦ 在Spark History页面中,选择目标应用程序,进入Environment 标签。

◦ 查找以下配置项:

spark.plugins :确认其值包含Gluten插件类,如org.apache.gluten.GlutenPlugin

spark.sql.queryExecutionListeners (可选):如果配置了查询监听器,可能包含Gluten相关类。

spark.shuffle.manager :Gluten可能要求设置为org.apache.spark.shuffle.sort.ColumnarShuffleManager

◦ 示例正确配置:
spark.plugins=org.apache.gluten.GlutenPlugin spark.shuffle.manager=org.apache.spark.shuffle.sort.ColumnarShuffleManager

Name Value
spark.plugins org.apache.gluten.GlutenPlugin
spark.shuffle.manager org.apache.spark.shuffle.sort.ColumnarShuffleManager

2. 查看应用程序日志

在日志中搜索Gluten关键字

◦ 在Spark History页面的Logs 部分,查找以下内容:

初始化成功日志 :如Gluten plugin initializedGluten enabled

警告或错误 :如ClassNotFoundException(可能表示依赖缺失)或Gluten fallback to Vanilla Spark(部分操作未使用Gluten)。

◦ 示例成功日志:
INFO GlutenPlugin: Gluten plugin initialized, using backend: velox

log 复制代码
xx/xx/xx 09:17:31 INFO JniLibLoader: Trying to load library libgluten.so
xx/xx/xx 09:17:31 INFO JniLibLoader: Successfully loaded library libgluten.so
xx/xx/xx 09:17:32 INFO JniLibLoader: Trying to load library libvelox.so
xx/xx/xx 09:17:32 INFO JniLibLoader: Successfully loaded library libvelox.so
xx/xx/xx 09:17:32 INFO ExecutorPluginContainer: Initialized executor component for plugin org.apache.gluten.GlutenPlugin.

3. 检查Metrics指标

进入Metrics标签页

◦ 查找Gluten特有的指标,例如:

gluten_velox_tasks :表示由Velox引擎处理的任务数。

gluten_fallback_count :回退到Vanilla Spark的次数(值高可能表示兼容性问题)。

◦ 如果这些指标存在且gluten_velox_tasks大于0,说明Gluten已生效。

4. 分析SQL执行计划

查看SQL查询的物理计划

◦ 在SQL 标签页中,点击具体查询,查看其Physical Plan

◦ 确认是否存在Gluten相关的操作符,例如:

GlutenScan :表示数据扫描由Gluten处理。

VeloxOperator :使用Velox引擎执行的操作(如Filter、Projection)。

◦ 示例计划片段:
+- GlutenScan [id#1, name#2] (Gluten VeloxScan...)

log 复制代码
   VeloxColumnarToRowExec (11)
               +- VeloxAppendBatches (4)

(4) VeloxAppendBatches
(11) VeloxColumnarToRowExec

5. 验证任务执行详情

进入Stages/Tasks详情

◦ 在任务级别指标中,查看是否有关联Gluten的输入/输出格式(如ColumnarToRow转换减少,可能表示Gluten直接处理列式数据)。

常见问题排查

配置未生效 :确保spark.plugins配置正确且无拼写错误,Gluten的JAR包已正确部署到Spark的jars目录。

依赖冲突 :检查日志中是否有NoClassDefFoundError,可能是版本不兼容或依赖缺失。

部分回退 :若gluten_fallback_count较高,需确认查询是否包含Gluten尚未支持的操作(如某些UDF或复杂数据类型)。

结论

如果在配置、日志、Metrics或执行计划中均发现Gluten相关的有效信息(如插件加载成功、Velox任务计数为正),则表明Gluten已成功集成。反之,需根据缺失的证据逐步排查配置或依赖问题。

相关推荐
随心............12 小时前
在开发过程中遇到问题如何解决,以及两个经典问题
hive·hadoop·spark
Q26433650232 天前
【有源码】基于Python与Spark的火锅店数据可视化分析系统-基于机器学习的火锅店综合竞争力评估与可视化分析-基于用户画像聚类的火锅店市场细分与可视化研究
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
潘达斯奈基~2 天前
spark性能优化1:通过依赖关系重组优化Spark性能:宽窄依赖集中处理实践
大数据·性能优化·spark
蒙特卡洛的随机游走3 天前
Spark核心数据(RDD、DataFrame 和 Dataset)
大数据·分布式·spark
蒙特卡洛的随机游走3 天前
Spark的宽依赖与窄依赖
大数据·前端·spark
Lansonli3 天前
大数据Spark(六十九):Transformation转换算子intersection和subtract使用案例
大数据·分布式·spark
励志成为糕手3 天前
宽依赖的代价:Spark 与 MapReduce Shuffle 的数据重分布对比
大数据·spark·mapreduce·分布式计算·sortshuffle
weixin_525936333 天前
部分Spark SQL编程要点
大数据·python·sql·spark
智海观潮4 天前
学好Spark必须要掌握的Scala技术点
大数据·spark·scala
数智顾问5 天前
破解 Shuffle 阻塞:Spark RDD 宽窄依赖在实时特征工程中的实战与未来
大数据·分布式·spark