用idea写Spark程序时,想要在控制台打印日志?

需求:

用idea写Spark程序时,想要在控制台打印日志

解决:

在src/main/resources目录下创建log4j.properties文件

输入以下内容,然后运行程序即可

#Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
 
#Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

如果希望在报错的情况下才打印日志

覆盖上述文件内容:然后运行程序即可

#Set everything to be logged to the console

log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

#Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
相关推荐
妙龄少女郭德纲18 小时前
基于Spark框架实现XGBoost模型
大数据·分布式·spark
南斯拉夫的铁托18 小时前
(PySpark)RDD实验实战——求商品销量排行
python·spark·pyspark
全栈弟弟18 小时前
高级大数据开发协会
大数据·数据仓库·hadoop·flink·spark
武子康3 天前
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
java·大数据·数据库·sql·flink·spark·scala
一休哥助手4 天前
大数据组件详解:Spark、Hive、HBase、Phoenix 与 Presto
大数据·hive·spark
TuringSnowy4 天前
Spark_natural_join
python·spark
Parallel23334 天前
Flink+Spark相关记录
大数据·flink·spark
lwprain4 天前
龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)
hadoop·spark
计算机毕设残哥4 天前
利用Hadoop Spark大数据技术构建国潮男装评论数据分析系统
大数据·hadoop·spark·计算机毕设·计算机毕业设计