如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
面向Google编程8 小时前
从零学习Kafka:生产者压缩
大数据·kafka
原来是猿8 小时前
服务端高并发分布式结构演进之路
分布式
workflower8 小时前
企业酝酿数智化内驱力
大数据·人工智能·设计模式·机器人·动态规划
Pushkin.8 小时前
新数仓建设方法论与实践指南-分层解耦驱动的数据仓库
大数据·数据仓库
Elastic 中国社区官方博客8 小时前
Elasticsearch:为 AI Agent builder 创建 skill plugin
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
Data_Journal8 小时前
2026年十大数据集网站
大数据·开发语言·数据库·人工智能·python
珠海西格电力8 小时前
如何实现零碳园区管理系统“云-边-端”架构的协同
大数据·数据库·人工智能·架构·能源
精益数智工坊8 小时前
拆解设备维护管理系统的工单功能,解决设备维护管理派单慢难题
大数据·运维·网络·人工智能·精益工程
CryptoPP9 小时前
解锁股票数据可视化新姿势:轻量级数据接口与动态图表实践
大数据·开发语言·人工智能·信息可视化·金融·区块链
BlockWay9 小时前
WEEX与西甲联赛达成2026赛季区域合作
大数据·人工智能