如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
i***719518 小时前
RabbitMQ 集群部署方案
分布式·rabbitmq·ruby
k***216018 小时前
RabbitMQ 客户端 连接、发送、接收处理消息
分布式·rabbitmq·ruby
千里念行客24019 小时前
国产射频芯片“小巨人”昂瑞微今日招股 拟于12月5日进行申购
大数据·前端·人工智能·科技
一水鉴天19 小时前
整体设计 定稿 之15 chat分类的专题讨论(codebuddy)
大数据·分类·数据挖掘
g***B7381 天前
后端在分布式中的服务配置
分布式
n***i951 天前
后端在分布式缓存中的一致性哈希
分布式·缓存·哈希算法
O***p6041 天前
后端在分布式中的服务治理
分布式
7***u2161 天前
显卡(Graphics Processing Unit,GPU)架构详细解读
大数据·网络·架构
Qzkj6661 天前
从规则到智能:企业数据分类分级的先进实践与自动化转型
大数据·人工智能·自动化
F***c3251 天前
PHP在微服务中的分布式跟踪
分布式·微服务·php