[yarn]yarn异常

一、运行一下算圆周率的测试代码,看下报错

cd /home/data_warehouse/module/hadoop-3.1.3/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-3.1.3.jar pi 1000 1000

后面2个数字参数的含义:

第1个1000指的是要运行1000次map任务

第2个数字指的是每个map任务,要投掷多少次

二、查看日志

发现ck1节点上的所有任务都无法运行

报错信息

2023-11-08 10:23:47.808Exception from container-launch. Container id: container_1699409993095_0001_01_000345 Exit code: 255 2023-11-08 10:23:47.809Container exited with a non-zero exit code 255. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : 2023-11-08 10:23:47.809Container exited with a non-zero exit code 255. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err :

三、无法解决异常,但是需要运行任务

直接kill掉ck1上的nodemanager进程,这样任务可以直接在ck2和ck3上运行

相关推荐
曾阿伦4 天前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
极光代码工作室5 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
liuxiaowei36 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
humbinal7 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
hkNaruto9 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式
吾AI科技9 天前
基于Tez引擎的 Hive SQL 性能优化
大数据·hive·性能优化·tez
牛奶咖啡1310 天前
大数据Hadoop运维应用实践——双NameNode高可用Hadoop集群架构(下)
大数据·hadoop·hadoop集群配置文件解析·hadoop高可用集群安装部署·配置指定多台服务器相互免密·配置hadoop服务开机自启·ansible部署hadoop
abcy07121310 天前
hive 执行器原理
hive
李昊哲小课11 天前
spark4 集群安装
大数据·hadoop·zookeeper·spark
buligbulig11 天前
Hadoop环境安装和集群创建
大数据·hadoop·分布式