如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
2601_949936964 小时前
2026会计岗位职场能力提升方法分享
大数据
咖啡屋和酒吧5 小时前
无锡干细胞领域发展纪实
大数据·人工智能
SelectDB5 小时前
快手 AB 场景提速 145 倍,从 Spark 到 Apache Doris 的加速实践
数据库·spark·开源
SelectDB5 小时前
阶跃星辰 Agent 可观测实践:为什么 Trace 数据底座选择 SelectDB?
大数据·数据库·agent
志起计算机编程5 小时前
Ubuntu24 单节点ClickHouse二进制包部署
大数据
TDengine (老段)5 小时前
# TDengine TMQ 最佳实践 — 可靠消费、容错与监控
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
龙萱坤诺6 小时前
Claude Fable 5 重新开放:最强模型回归
大数据·运维·人工智能
龙虾PRO6 小时前
打通OpenClaw与Claude Code会话链路,实现AI全自动编码落地
大数据·人工智能
cmes_love6 小时前
如何下载沪深股票市场的行情数据,包括委托、成交、订单薄、沪深股票、etf、可转债、指数五档订单薄数据,买一到买五、卖一到卖五历史行情数据笔记
大数据·笔记
月落归舟7 小时前
从单机到分布式:互联网系统架构演进全流程
分布式·系统架构