查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties,如果没有,则执行以下创建 log4j2 配置文件。
bash
cp ${SPARK_HOME}/conf/log4j2.properties.template \
${SPARK_HOME}/conf/log4j2.properties
设置某些类的日志级别
打开文件 ${SPARK_HOME}/conf/log4j2.properties
以下内容设置了 org.apache.spark.ContextCleaner
这个类的日志级别为 debug。
bash
log4j.logger.org.apache.spark.ContextCleaner=debug,console