如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
科技小花2 小时前
2026 年度生成式引擎优化(GEO)标杆产品:百分点科技 Generforce 的差异化路径
大数据·人工智能·科技·geo·ai搜索
研华科技Advantech2 小时前
新一代工业控制开发平台:破解三大痛点
大数据
敏君宝爸3 小时前
RabbitMQ多线程消费与死信队列方案
分布式·rabbitmq
tsyjjOvO3 小时前
深入浅出 RabbitMQ:从原理到实战
分布式·rabbitmq
爱吃苹果的梨叔3 小时前
2026年分布式坐席系统技术指南:从KVM延长到全IP坐席协作
分布式·网络协议·tcp/ip
幂律智能3 小时前
Prompt不是提问,而是任务定义
大数据·人工智能·prompt
eastyuxiao3 小时前
数字孪生在智慧建筑中的应用案例
大数据·人工智能·智慧城市·数字孪生
容器魔方3 小时前
Kthena 核心原语:ModelServing CRD 如何定义分布式推理“新标准”?
大数据·分布式·云原生·容器·云计算
发哥来了3 小时前
横向评测:主流AI培训厂家的培训效果对比
大数据·人工智能·ai
qq_411262423 小时前
基于 ESP32-S3 + VB6824 + I2S Codec 的四博AI睡眠眼罩/AI智能音箱方案:白噪音、音乐播放与AI情绪陪伴实现
大数据·人工智能·智能音箱