如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
逸Y 仙X5 小时前
文章十六:ElasticSearch 使用enrich策略实现大宽表
java·大数据·数据库·elasticsearch·搜索引擎·全文检索
jkyy20145 小时前
AI赋能智慧座舱:健康有益重构移动健康空间,定义出行健康新范式
大数据·人工智能·物联网·健康医疗
阿明观察5 小时前
破局·领航·赋能:解码国家云如何开辟Token经济新路径
大数据·人工智能
渣渣盟5 小时前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
杰建云1676 小时前
Plurai 分布式推理引擎深度评测
分布式
地球资源数据云6 小时前
1960年-2024年中国棉花产量数据集
大数据·数据结构·数据仓库·人工智能
Coovally AI模型快速验证6 小时前
YOLO26仓储检测实战:物体定位+有向边界框+姿态估计+实例分割,一个模型盯住整个仓库
大数据·人工智能·3d·视觉检测·工业质检
Volunteer Technology6 小时前
ES高级搜索功能
android·大数据·elasticsearch
codinglf6 小时前
大模型质检盒子实测:7天破解制造质检困局
大数据·运维·人工智能
Bechamz6 小时前
大数据开发学习Day24
大数据·学习