如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
数字供应链安全产品选型8 分钟前
2026 AI安全趋势展望:AI原生安全将成为企业刚需
大数据·人工智能
桌面运维家13 分钟前
IDV云桌面vDisk机房课表联动部署方案
大数据·服务器·数据库
超级AI_mes32 分钟前
化工MES解决方案:从配方管控到安全追溯的智慧转型
大数据·人工智能·5g·能源·制造·业界资讯·设备采集
Mr数据杨44 分钟前
成人收入预测建模与信用评估应用
大数据·人工智能·机器学习·数据分析·kaggle
十六年开源服务商1 小时前
门户网站迁移WordPress完整方案2026
大数据
qyr67891 小时前
全球多旋翼无人机动力系统市场分析报告
大数据·人工智能·数据分析·市场报告·多旋翼无人机动力系统
腾讯云大数据1 小时前
腾讯云大数据出海实践:一套架构支撑跨国企业的全球数据平台
大数据·架构·云计算·腾讯云
juniperhan1 小时前
Flink 系列第12篇:Flink 维表关联详解
大数据·数据仓库·分布式·flink
嘉立创FPC苗工2 小时前
多层 FPC 阻抗控制:从原理到实践的全流程指南
大数据·制造·fpc·电路板
查古穆2 小时前
AI Agent 开发的工业化道路:Harness 架构深度解析
大数据·人工智能