如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
1892280486134 分钟前
NV086固态MT29F16T08EWLCHD8-TES:C
大数据·服务器·人工智能·科技·缓存
Morantkk1 小时前
26.6.7
大数据
weixin_397578023 小时前
智能工厂规划设计——总体视图、业务框架、应用架构、系统架构、技术架构
大数据
王牌狮AIen3 小时前
合规生命线——警惕“AI投毒”与算法陷阱,如何为品牌装上“事前免疫”系统?
大数据·人工智能·数据挖掘·geo·ai营销
大树884 小时前
PUE 超 1.35 要多交多少?存量机房液冷改造 3 张算账表
大数据·运维·服务器·人工智能
阿狸猿4 小时前
论大数据 Lambda 架构及其应用
大数据·架构
喵叔哟5 小时前
14【.NET10 实战--孢子记账--产品智能化】--智能生成预算
大数据·人工智能·.net
WyCAGy8ij5 小时前
Redis 分布式锁进阶第四篇讲解
数据库·redis·分布式
Deepoch5 小时前
Deepoc VLA开发板:实现采摘机器人动态生物适应与精准作业
大数据·人工智能·机器人·采摘机器人·deepoc
申通之声6 小时前
3年稳定率90%+:申通五星管理经
大数据·人工智能·交通物流