如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
小赖同学啊40 分钟前
jmeter 与大数据生态圈中的服务进行集成
大数据·jmeter
闲人编程1 小时前
Spark单机快速入门:从部署到数据分析实战
大数据
一个假的前端男1 小时前
RabbitMQ 消息队列
分布式·rabbitmq
liruiqiang052 小时前
DDD - 整洁架构
分布式·微服务·架构
刀客1232 小时前
kafka基本知识
分布式·kafka
m0_748256343 小时前
重学SpringBoot3-整合 Elasticsearch 8.x (一)客户端方式
大数据·elasticsearch·jenkins
菠菠萝宝3 小时前
【Java八股文】11-分布式及场景面试篇
java·分布式·面试·k8s·系统·uuid·mq
nangonghen4 小时前
flink operator v1.10部署flink v1.19.2
大数据·flink·flink operator
莳花微语4 小时前
使用MyCAT实现分布式MySQL双主架构
分布式·mysql·架构
power-辰南8 小时前
高并发系统架构设计全链路指南
分布式·系统架构·高并发·springcloud