cloudera manager 页面启动nodemanager失败,后端没有启动 8040

nodemanager异常失败后,cloudera manager页面启动nodemanager失败,后端没有启动8040。

问题分析:查看日志hadoop-cmf-yarn-NODEMANAGER-IT-CDH-Node36.log.out 发现

进程OOM,8042端口注册不上! nodemanager启动就会recovering application。

清理失败app缓存:

rm -rf /data*/yarn/nm/usercache/*

rm -rf /var/lib/hadoop-yarn/yarn-nm-recovery/*

删除cache之后 重启nodemanager正常。

问题分析:

1、由于这台机器上跑大任务,导致内存不足,报警写到/tmp目录下,产生很多大文件,进而导致磁盘不足!

2、nm重启会去cache里面 recovering任务,但是这些任务已经过时导致一直起不来,解决办法就是删除这些cache!!!

相关推荐
Edingbrugh.南空8 小时前
Flink自定义函数
大数据·flink
gaosushexiangji9 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
无级程序员12 小时前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
lifallen13 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
TDengine (老段)13 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
张先shen13 小时前
Elasticsearch RESTful API入门:全文搜索实战(Java版)
java·大数据·elasticsearch·搜索引擎·全文检索·restful
Elastic 中国社区官方博客13 小时前
Elasticsearch 字符串包含子字符串:高级查询技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
张先shen14 小时前
Elasticsearch RESTful API入门:全文搜索实战
java·大数据·elasticsearch·搜索引擎·全文检索·restful
天翼云开发者社区14 小时前
Doris-HDFS LOAD常见问题汇总(二)
大数据·doris
简婷1870199877515 小时前
源网荷储 + 零碳园区:一场关于能源与未来的双向奔赴
大数据·人工智能·能源