如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
covco3 小时前
矩阵管理系统指南:拆解星链引擎的架构设计与全链路落地实践
大数据·人工智能·矩阵
陕西字符3 小时前
2026 西安 豆包获客优化技术深度解析:企来客科技 AI 全域获客系统测评
大数据·人工智能
virtaitech4 小时前
算力浪费与算力饥渴并存,OrionX社区版免费开放能否破解这一困局?
大数据·人工智能·gpu算力
covco5 小时前
分布式架构实战:全平台矩阵管理系统的技术实现与性能优化
分布式·矩阵·架构
青春万岁!!5 小时前
hive模型数据异常-作业调度问题
大数据·数据仓库·hive
QYR-分析6 小时前
压力电气转换器行业市场现状与发展前景分析
大数据·人工智能
人机与认知实验室6 小时前
人机协同的命门:权限与信任
大数据·人工智能
QEasyCloud20229 小时前
领星、聚水潭与金蝶云星空三方系统对接技术方案
大数据
江瀚视野9 小时前
DeepWay深向盈利拐点趋近意味着什么?
大数据·人工智能
Bechamz9 小时前
大数据开发学习Day31
大数据·学习·ajax