如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
西电研梦33 分钟前
稳扎稳打,25西电生命科学技术学院(考研录取情况)
大数据·考研·生物医学工程·西安电子科技大学
ICT_SOLIDWORKS1 小时前
智诚科技苏州SOLIDWORKS授权代理商的卓越之选
大数据·人工智能·科技·软件工程
24k小善1 小时前
FlinkUpsertKafka深度解析
java·大数据·flink·云计算
小名叫咸菜3 小时前
spark总结
spark
码熔burning3 小时前
【MQ篇】RabbitMQ之消息持久化!
java·分布式·rabbitmq·mq
caihuayuan43 小时前
【docker&redis】用docker容器运行单机redis
java·大数据·sql·spring·课程设计
Gvemis⁹3 小时前
Spark总结
大数据·分布式·spark
码熔burning4 小时前
【MQ篇】RabbitMQ之消费失败重试!
java·分布式·rabbitmq·mq
灵途科技4 小时前
NEPCON China 2025 | 具身智能时代来临,灵途科技助力人形机器人“感知升级”
大数据·人工智能
sky.fly4 小时前
思科路由器重分发(静态路由+OSPF动态路由+RIP动态路由)
大数据·网络·智能路由器