cloudera manager 页面启动nodemanager失败,后端没有启动 8040

nodemanager异常失败后,cloudera manager页面启动nodemanager失败,后端没有启动8040。

问题分析:查看日志hadoop-cmf-yarn-NODEMANAGER-IT-CDH-Node36.log.out 发现

进程OOM,8042端口注册不上! nodemanager启动就会recovering application。

清理失败app缓存:

rm -rf /data*/yarn/nm/usercache/*

rm -rf /var/lib/hadoop-yarn/yarn-nm-recovery/*

删除cache之后 重启nodemanager正常。

问题分析:

1、由于这台机器上跑大任务,导致内存不足,报警写到/tmp目录下,产生很多大文件,进而导致磁盘不足!

2、nm重启会去cache里面 recovering任务,但是这些任务已经过时导致一直起不来,解决办法就是删除这些cache!!!

相关推荐
SickeyLee3 小时前
产品经理的成长路径与目标总结
大数据·人工智能
苹果企业签名分发3 小时前
腾讯云市场排名
大数据
沫儿笙4 小时前
OTC焊接机器人节能技巧
大数据·人工智能·机器人
lifallen4 小时前
深入解析RocksDB的MVCC和LSM Tree level
大数据·数据结构·数据库·c++·lsm-tree·lsm tree
金融小师妹4 小时前
AI量化模型解析黄金3300关口博弈:市场聚焦“非农数据”的GRU-RNN混合架构推演
大数据·人工智能·算法
金融小师妹4 小时前
基于LSTM-GRU混合网络的动态解析:美联储维稳政策与黄金单日跌1.5%的非线性关联
大数据·人工智能·算法
Aurora_NeAr6 小时前
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
大数据
黄雪超6 小时前
Kafka——关于Kafka动态配置
大数据·分布式·kafka
大公产经晚间消息7 小时前
网易云音乐硬刚腾讯系!起诉SM娱乐滥用市场支配地位
大数据·人工智能·娱乐
卍郝凝卍8 小时前
云上服务器常见的存储方式和类型
大数据·服务器·数据库