spark history server异常

现象:spark 日志文件突然新增了很多.hprof文件,

查找日志spark配置参数spark_log_dir进入日志目录:

查看historyServer日志:

bash 复制代码
Spark Command: /usr/lib/jvm/java-1.8.0/bin/java -cp /opt/apps/JINDOSDK/jindosdk-current/lib/*:/etc/taihao-apps/spark-conf/:/opt/apps/SPARK3/spark-current/jars/*:/etc/taihao-apps/hadoop-conf/ -XX:+ExitOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/log/taihao-apps/spark/ -Dlog4j.configuration=file:/etc/taihao-apps/spark-conf/spark-daemon-log4j.properties -Dspark.log.dir=/var/log/taihao-apps/spark -Dspark.log.file=spark-history-server.log -Xloggc:/var/log/taihao-apps/spark/spark-history-gc.log -XX:+IgnoreUnrecognizedVMOptions -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=128M -Xmx1g org.apache.spark.deploy.history.HistoryServer
========================================
java.lang.OutOfMemoryError: GC overhead limit exceeded
Dumping heap to /var/log/taihao-apps/spark/java_pid562312.hprof ...
Heap dump file created [1038934719 bytes in 4.457 secs]
#
# java.lang.OutOfMemoryError: GC overhead limit exceeded
# -XX:OnOutOfMemoryError="kill -9 %p"
#   Executing /bin/sh -c "kill -9 562312"...
(END)

发现是history Server服务一直启动oom异常

重启一下:

bash 复制代码
yarn --daemon start timelineserver

或者:
yarn-daemon start timelineserver

重启无效,

定位配置参数发现spark历史任务日志太多,一直没清理

修改配置参数:

bash 复制代码
spark.history.fs.cleaner.enabled = true

spark_history_daemon_memory = 8g

spark_thrift_daemon_memory = 4g

成功

参考链接:
https://blog.csdn.net/Mrerlou/article/details/121405408
https://www.cnblogs.com/lemonu/p/13901203.html
https://www.cnblogs.com/nortingHome/p/13984217.html

相关推荐
TDengine (老段)5 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯6 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台8 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统10 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata1 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒1 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka