如何减少Apache Spark日志的数量

修改log4j配置文件,没有就创建:

内容:

java 复制代码
# 设置日志记录器
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 设置Spark相关组件的日志级别
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.spark.sql=ERROR
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR

结果:

相关推荐
凡人AI录23 分钟前
小红书商业变现 100 个关键词:从流量逻辑到长期复利
大数据
zhongerzixunshi44 分钟前
筑牢国家安全防线,赋能企业合规发展
大数据·人工智能·安全
小飞象—木兮1 小时前
2026数据资产入表解决方案(52页 PPT)
大数据·人工智能
Dotrust东信创智1 小时前
革新测试管理3.0:Storm UTP统一测试管理平台全链路追溯与AI赋能升级
大数据·人工智能·storm
烟台业荣数据科技有限公司2 小时前
智能建造知识拓展 | AR技术:虚实融合,赋能施工现场
大数据·人工智能·机器人
treesforest2 小时前
IP地理位置精准查询:从城市级到街道级的定位技术深度解析
大数据·网络·网络协议·tcp/ip·安全·网络安全·ip
小小王app小程序开发2 小时前
场馆预约小程序开发分析:线下实体转型利器,冠品科技助力商家高效增收
大数据·科技
lyc87802 小时前
【Qwen3.5-2B-Base】本地模型部署和验证联动千帆api
大数据·python
2601_958548483 小时前
利川乡村民宿专业经营:盈利模式与运营策略深度解析
大数据
cy_cy0023 小时前
解析活跃氛围的互动屏幕应用
大数据·科技·人机交互·交互·软件构建