如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
暖和_白开水6 小时前
数据分析agent(九-2):es启动补充
大数据·elasticsearch·搜索引擎
海兰7 小时前
基于 ES|QL 的 Kubernetes 监控工具箱:使用 ES|QL 进行 Kubernetes 监控,从内存压力到错误日志
大数据·elasticsearch·kubernetes
想你依然心痛7 小时前
电子商务行业中的大数据应用案例
大数据·电子商务·用户画像·个性化推荐·库存管理·用户行为分析·供应链优化
延凡科技7 小时前
告别粗放灌溉!让灌区管理智能化、节水化、精细化
大数据·人工智能·科技·物联网·信息可视化
Summer-Bright7 小时前
AI 芯片简报 07.21-07.24:NVIDIA Vera 亮剑、AMD 2nm GPU、Google 叛逃 CoWoS
大数据·人工智能·ai·自然语言处理·芯片·agi
带娃的IT创业者7 小时前
从印度私营火箭首飞成功看新兴航天架构的技术突围
大数据·架构·架构设计·系统工程·控制系统·火箭发射·商业航天
向夏威夷 梦断明暄8 小时前
从架构特点到功能缺陷,重新认识分析型分布式数据库
数据库·分布式·架构
科技大视界9 小时前
企业 Agent 2026 选型指南:智能体应用进入深水区
大数据·人工智能
zandy10119 小时前
体验家 XMPlus 跨系统数据同步与一致性保障机制:CEM 与 CRM/ERP/BI 的双向集成架构
大数据·架构
蓝速科技9 小时前
蓝速larxu 21.5 寸会议预约屏:状态指示灯重塑大型会议室管理效能
大数据