十七、如何将MapReduce程序提交到YARN运行

1、启动某个节点的某一个用户

hadoop@node1:~$ jps
13025 Jps
hadoop@node1:~$ yarn --daemon start resourcemanager
hadoop@node1:~$ jps
13170 ResourceManager
13253 Jps
hadoop@node1:~$ yarn --daemon start nodemanager
hadoop@node1:~$ jps
13170 ResourceManager
15062 Jps
14890 NodeManager

2、常见程序

3、 提交实例

（1）使用自带程序提交

（2） 语法

此处需要注意，对于有返回值的程序，需要指定程序参数。

（3）明确命令jar命令所在目录

/export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar

对于这些Hadoop内置的程序，他们都存储在hadoop-mapreduce-examples-3.3.6.jar中，如wordcount单词计数程序、pi求圆周率程序。

（4）执行wordcount程序（默认文件已经上传到hdfs文件系统）

~前提

首先，明确wordcount程序有返回值，所以需要指定程序参数：

程序参数\]：参数1是数据输入路径（hdfs://node1:8020/input/wordcount/) \[程序参数\]：参数2是结果输出路径(hdfs://node1:8020/output/wc1)，需要确保输出的文件夹不存在，否则会报错 #### \~执行 ```cs hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/some ``` #### \~查看结果 执行完成后，查看some文件夹，可以看到some文件夹中存在两个子文件，第一个文件的文件名的最后一个单词，代表了本次程序运行是否成功，第二个文件存放着程序运行之后的结果。 ```cs hadoop@node1:~$ hdfs dfs -ls hdfs://node1:8020/output/some Found 2 items -rw-r--r-- 3 hadoop supergroup 0 2023-12-16 22:37 hdfs://node1:8020/output/some/_SUCCESS -rw-r--r-- 3 hadoop supergroup 351 2023-12-16 22:37 hdfs://node1:8020/output/some/part-r-00000 ``` 程序运行之后的结果为： ```cs hadoop@node1:~$ hdfs dfs -cat hdfs://node1:8020/output/some/part-r-00000 Because 1 Hello，my 1 I 7 I'll 1 If 1 Now 1 XX 1 XXX. 1 a 2 am 1 best 1 bird. 1 blue 1 can 2 chance 1 child. 1 come 1 day 1 do 1 dream 2 everything 1 fly 1 graduatedfrom 1 have 2 i 1 in 1 is 1 it 1 job. 2 like 1 love 1 make 1 my 1 name 1 old.I 1 one 1 since 1 sky 1 some 3 take 1 that 1 the 3 this 2 to 2 true. 1 try 1 was 1 well. 1 years 1 yjbys. 1 ``` ### （5）在Hadoop提供的Web页面上查看 #### \~点击程序名  #### \~查看详细信息   #### \~查看运行日志   #### \~map 和 reduce任务历史查看