Spark 设置日志级别

查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties,如果没有,则执行以下创建 log4j2 配置文件。

bash 复制代码
cp ${SPARK_HOME}/conf/log4j2.properties.template \
   ${SPARK_HOME}/conf/log4j2.properties

设置某些类的日志级别

打开文件 ${SPARK_HOME}/conf/log4j2.properties

以下内容设置了 org.apache.spark.ContextCleaner 这个类的日志级别为 debug。

bash 复制代码
log4j.logger.org.apache.spark.ContextCleaner=debug,console
相关推荐
亿牛云爬虫专家1 小时前
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
分布式·python·架构·kubernetes·爬虫代理·监测·采集
莫彩3 小时前
Mapreduce 工业界批式计算经验汇总(下)
大数据·mapreduce
群联云防护小杜7 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫7 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte8 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy67989 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
上上迁9 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
长路 ㅤ   9 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
暗影八度11 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源11 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据