Spark 设置日志级别

查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties,如果没有,则执行以下创建 log4j2 配置文件。

bash 复制代码
cp ${SPARK_HOME}/conf/log4j2.properties.template \
   ${SPARK_HOME}/conf/log4j2.properties

设置某些类的日志级别

打开文件 ${SPARK_HOME}/conf/log4j2.properties

以下内容设置了 org.apache.spark.ContextCleaner 这个类的日志级别为 debug。

bash 复制代码
log4j.logger.org.apache.spark.ContextCleaner=debug,console
相关推荐
TTBIGDATA12 分钟前
【Ambari监控】Ambari-Metrics 的分支研究
大数据·数据库·hadoop·ambari·bigtop·edp·hidataplus
IT学长编程29 分钟前
计算机毕业设计 基于Hadoop的南昌房价数据分析系统的设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试
大数据·hadoop·python·毕业设计·课程设计·毕业论文·豆瓣电影数据可视化分析
小小怪KO32 分钟前
分布式锁解决集群下一人一单超卖问题
java·分布式·tomcat·后端开发·实习·黑马点评
郑洁文40 分钟前
豆瓣网影视数据分析与应用
大数据·python·数据挖掘·数据分析
失散131 小时前
分布式专题——9 Redis7底层数据结构解析
java·数据结构·redis·分布式·缓存·架构
计算机编程-吉哥2 小时前
大数据毕业设计-大数据-基于大数据的热门游戏推荐与可视化系统(高分计算机毕业设计选题·定制开发·真正大数据)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
程序员TNT2 小时前
Shoptnt 安全架构揭秘:JWT 认证与分布式实时踢人方案
java·redis·分布式·架构
文人sec2 小时前
性能测试-jmeter10-分布式测试
分布式·jmeter·性能优化·模块测试
DDC楼宇自控与IBMS集成系统解读2 小时前
IBMS智能化集成系统:构建建筑全场景协同管控中枢
大数据·网络·人工智能·能耗监测系统·ibms智能化集成系统·楼宇自控系统·智能照明系统
奋斗的蛋黄2 小时前
HDFS(Hadoop 分布式文件系统)知识点梳理
大数据·hadoop·hdfs