如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
远光九天2 小时前
远光软件亮相2026 CIO百人会高峰论坛 分享“模数共振”新范式构建之路
大数据·人工智能
长不胖的路人甲2 小时前
RabbitMQ 死信队列 DLQ
分布式·rabbitmq
可乐ea2 小时前
【Redis八股|第8篇】Redis 分布式锁原理与 Redisson 使用
数据库·redis·分布式·面试题·redis八股
LitchiCheng3 小时前
DGX Spark部署Isaac Sim(一键安装脚本)
大数据·elasticsearch·spark
RockHopper20253 小时前
企业智能体为何应面向“活动”而非“数据”——一个架构范式的转变
大数据·人工智能·智能体·活动驱动
JustNow_Man4 小时前
【openspec】存量项目中如何使用进行开发
大数据·人工智能
Geeys4 小时前
拼多多新店快速起流量完整实操
大数据·网络·人工智能
BD_Marathon6 小时前
什么是Spark
大数据·分布式·spark
xlrqx6 小时前
2026年沧州家电清洗培训成本核算方法及成本控制要点
大数据·python
xian_wwq6 小时前
【学习笔记】分布式推理:TP / PP / EP / CP 并行策略详解(20/35)
笔记·分布式·学习·ai