如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
个推技术3 分钟前
业务语义本体+确定性查询,个推AIBI这样解决ChatBI口径不一致问题
大数据·人工智能
龙亘川39 分钟前
电子印章系统对接管理业务建模:从需求申请、接口开发到监控运维的全流程闭环
大数据·运维·人工智能·智慧城市·开源软件
zhilai11 小时前
2026 企业 AI 办公工具选型指南:企业团队 AI 平台评估与场景适配
大数据·人工智能
科技看点说1 小时前
翼图资本:低空经济的产业韧性与延展性
大数据·人工智能
Gu_WenYun2 小时前
科技投资进入“硬订单“验证期,科技基金如何布局?
大数据·人工智能·科技
ABB自动化2 小时前
ABB 500CIM06 (1MRB150077R0111) | REB500 通信接口
大数据·分布式·系统架构·系统安全·模块测试·plc 控制器
Elastic 中国社区官方博客2 小时前
Observability:当 YAML 遇上 IConfiguration:OpenTelemetry .NET SDK 的声明式配置
大数据·开发语言·elasticsearch·搜索引擎·全文检索·.net
跨境联盟2 小时前
跨境膳食补充剂与国内营养品的差异对比|结合精准营养视角谈选型逻辑
大数据·人工智能·健康医疗·健康管理·精准营养
ZENERGY-众壹2 小时前
告别本地工控机:分布式光伏 SCADA 架构如何实现云边协同
分布式·架构·光伏运维·能源数字化·电站监控