如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
大大大大晴天几秒前
浅聊Hadoop集群的主流安全方案(LDAP+Kerberos+Ranger)
大数据·hadoop
为儿打call7 分钟前
基于 Git Hooks + LLM 实现根据自然语言规则进行 Code Review
大数据·llm
连线Insight8 分钟前
3.5亿月活后,豆包收费是一场冒险吗?
大数据·人工智能
T062051413 分钟前
【实证分析】绿色债券工具变量-含代码(2000-2025年)
大数据
TDengine (老段)34 分钟前
TDengine 时序数据库在城市燃气场景的落地实践
大数据·数据库·人工智能·物联网·时序数据库·tdengine·涛思数据
七夜zippoe37 分钟前
DolphinDB查询优化:执行计划分析
大数据·数据库·信息可视化·dolphindb·查询优化
skilllite作者38 分钟前
Agent-Skills 核心能力与实战效能深度评测
大数据·开发语言·前端·数据库·人工智能·python
五度易链-区域产业数字化管理平台41 分钟前
2026 生物医药融资技术趋势:AI 制药、CGT、ADC 成资本主战场
大数据
无忧智库1 小时前
某大型建筑集团财务一体化平台建设项目方案(PPT)
大数据·人工智能
weixin_449310841 小时前
跨境电商数字化转型实践
大数据