Spark 设置日志级别

查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties,如果没有,则执行以下创建 log4j2 配置文件。

bash 复制代码
cp ${SPARK_HOME}/conf/log4j2.properties.template \
   ${SPARK_HOME}/conf/log4j2.properties

设置某些类的日志级别

打开文件 ${SPARK_HOME}/conf/log4j2.properties

以下内容设置了 org.apache.spark.ContextCleaner 这个类的日志级别为 debug。

bash 复制代码
log4j.logger.org.apache.spark.ContextCleaner=debug,console
相关推荐
txinyu的博客11 分钟前
解析业务层的key冲突问题
开发语言·c++·分布式
数字化转型202514 分钟前
企业数字化架构集成能力建设
大数据·程序人生·机器学习
jayaccc21 分钟前
Git命令大全:从入门到精通
大数据·git·elasticsearch
Hello.Reader38 分钟前
Flink CEP Pattern API、连续性、跳过策略、超时与迟到数据一篇讲透
大数据·flink
极海拾贝2 小时前
GeoScene解决方案中心正式上线!
大数据·人工智能·深度学习·arcgis·信息可视化·语言模型·解决方案
qq_262496095 小时前
Elasticsearch 核心参数调优指南
大数据·elasticsearch
OpenCSG5 小时前
AgenticOps 如何重构企业 AI 的全生命周期管理体系
大数据·人工智能·深度学习
阿里云大数据AI技术5 小时前
漫画说:为什么你的“增量计算”越跑越慢?——90%的实时数仓团队都踩过的坑,藏在这几格漫画里
大数据·人工智能
电商API_180079052475 小时前
批量获取电商商品数据的主流技术方法全解析
大数据·数据库·人工智能·数据分析·网络爬虫
Zoey的笔记本6 小时前
敏捷与稳定并行:Scrum看板+BPM工具选型指南
大数据·前端·数据库·python·低代码