Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法

第一种:配置问题


这是别人的图片,据楼主排查解决是因为hosts配置问题...
现象 :各种无法运行、启动
解决办法:

1、修改日志级别

export HADOOP_ROOT_LOGGER=DEBUG,console

查看下详细信息,定位到具体问题解决

第二种:服务器问题

**现象:**运行到job时卡住不动

**原因:**服务器配置低下,内存小或磁盘小

**解决办法:**修改yarn.site.xml配置

xml 复制代码
<!--每个磁盘的磁盘利用率百分比-->
<property>
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
    <value>95.0</value>
 </property>
 <!--集群内存-->
 <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
 <!--调度程序最小值-分配-->
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
 <!--比率,具体是啥比率还没查...-->
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

除了服务器集群配置低,也有可能是服务器被攻击或恶意程序占用内存Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿

戏剧的是,我今天还遇到一种情况...现象也是Map后卡在Job,原因是:我运行了计算圆周率程序,刚开始测试没问题后手贱执行1000次,掷10000次...Map过程还好,Job开始便无法运行...

可能是任务太大了,可以尝试换小的执行

bash 复制代码
hadoop jar ./hadoop-mapreduce-examples-2.7.3.jar pi 20 20
相关推荐
Dobby_0515 小时前
【Hadoop】分布式文件系统 HDFS
大数据·hadoop·分布式
项目題供诗15 小时前
Hadoop(十一)
大数据·hadoop·分布式
学习中的阿陈19 小时前
Hadoop伪分布式环境配置
大数据·hadoop·分布式
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的健康与生活方式数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
IT学长编程1 天前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
IT学长编程2 天前
计算机毕业设计 基于深度学习的酒店评论文本情感分析研究 Python毕业设计项目 Hadoop毕业设计选题 机器学习选题【附源码+文档报告+安装调试】
hadoop·python·深度学习·机器学习·数据分析·毕业设计·酒店评论文本情感分析
小朋友,你是否有很多问号?2 天前
Mac安装hadoop
hadoop·macos
奋斗的蛋黄2 天前
HDFS与Yarn深入剖析
大数据·运维·hadoop
core5122 天前
Hive实战(三)
数据仓库·hive·hadoop
BYSJMG2 天前
计算机毕设推荐:基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
大数据·hadoop·python·物联网·spark·django·课程设计