Spark 设置日志级别

查看是否有文件 ${SPARK_HOME}/conf/log4j2.properties,如果没有,则执行以下创建 log4j2 配置文件。

bash 复制代码
cp ${SPARK_HOME}/conf/log4j2.properties.template \
   ${SPARK_HOME}/conf/log4j2.properties

设置某些类的日志级别

打开文件 ${SPARK_HOME}/conf/log4j2.properties

以下内容设置了 org.apache.spark.ContextCleaner 这个类的日志级别为 debug。

bash 复制代码
log4j.logger.org.apache.spark.ContextCleaner=debug,console
相关推荐
黄雪超14 小时前
从流批一体到湖仓一体架构演进的思考
大数据·架构·数据湖
小坏讲微服务16 小时前
Spring Boot整合Redis注解,实战Redis注解使用
spring boot·redis·分布式·后端·spring cloud·微服务·mybatis
筑梦之人16 小时前
Spark-3.5.7文档1 - 快速开始
spark
Elastic 中国社区官方博客18 小时前
Observability:适用于 PHP 的 OpenTelemetry:EDOT PHP 加入 OpenTelemetry 项目
大数据·开发语言·人工智能·elasticsearch·搜索引擎·全文检索·php
liudongyang12318 小时前
麒麟系统离线安装Rabbitmq
分布式·rabbitmq
冰芒芒1 天前
Kafka-2 Kafka的特点
分布式·kafka
白鲸开源1 天前
实战干货:Apache DolphinScheduler 参数使用与优化总结
大数据·程序员·开源
yumgpkpm1 天前
CMP(类Cloudera CDP 7.3 404版华为Kunpeng)与其他大数据平台对比
大数据·hive·hadoop·elasticsearch·kafka·hbase·cloudera
KYumii1 天前
RabbitMQ快速上手
分布式·rabbitmq
快乐的流畅1 天前
iChat:RabbitMQ封装
分布式·rabbitmq·ruby