Spark 设置日志级别

查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties,如果没有,则执行以下创建 log4j2 配置文件。

bash 复制代码
cp ${SPARK_HOME}/conf/log4j2.properties.template \
   ${SPARK_HOME}/conf/log4j2.properties

设置某些类的日志级别

打开文件 ${SPARK_HOME}/conf/log4j2.properties

以下内容设置了 org.apache.spark.ContextCleaner 这个类的日志级别为 debug。

bash 复制代码
log4j.logger.org.apache.spark.ContextCleaner=debug,console
相关推荐
菜鸡儿齐3 小时前
spark组件-spark core(批处理)-rdd创建
大数据·分布式·spark
weixin_177297220695 小时前
家政小程序系统开发:打造便捷高效的家政服务平台
大数据·小程序·家政
galaxylove6 小时前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能
keke_俩个科10 小时前
ShardingSphere分库分表基础配置与使用说明
java·数据库·分布式·spring
扁豆的主人10 小时前
分布式一致性
分布式
扁豆的主人12 小时前
Elasticsearch
大数据·elasticsearch·jenkins
想ai抽13 小时前
Flink重启策略有啥用
大数据·flink
TMT星球13 小时前
TCL华星t8项目正式开工,总投资额约295亿元
大数据·人工智能
阿里云大数据AI技术13 小时前
云栖实录 | 驶入智驾深水区:广汽的“数据突围“之路
大数据·人工智能