用idea写Spark程序时,想要在控制台打印日志?

需求:

用idea写Spark程序时,想要在控制台打印日志

解决:

在src/main/resources目录下创建log4j.properties文件

输入以下内容,然后运行程序即可

复制代码
#Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
 
#Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

如果希望在报错的情况下才打印日志

覆盖上述文件内容:然后运行程序即可

复制代码
#Set everything to be logged to the console

log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

#Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
相关推荐
淋一遍下雨天1 小时前
Spark-SQL 项目
大数据·sql·spark
lqlj22332 小时前
spark和hadoop的对比和联系
大数据·hadoop·spark
淋一遍下雨天2 小时前
SparkStreaming概述
大数据·学习·spark
睎zyl2 小时前
Spark与Hadoop之间的联系和对比
大数据·hadoop·spark
小白的白是白痴的白3 小时前
4.21 spark和hadoop的区别与联系
大数据·hadoop·spark
哈哈真棒4 小时前
spark和Hadoop的区别与联系
大数据·hadoop·spark
哈哈la4 小时前
spark和hadoop的区别
大数据·hadoop·spark
CONTONUE4 小时前
spark和Hadoop的区别和联系
hadoop·spark
FLLdsj5 小时前
如何安装Spark
大数据·分布式·spark
戈云 110610 小时前
Spark-SQL4
spark