【Hadoop_02】Hadoop运行模式

• 1、Hadoop的scp与rsync命令
• • （1）本地运行模式
  • （2）完全分布式搭建
  • • 【1】利用102将102的文件推到103
    • 【2】利用103将102的文件拉到103
    • 【3】利用103将102的文件拉到104
  • （3）rsync命令
  • （4）xsync集群分发脚本
• 2、ssh免密登录
• • （1）利用102登录103
  • （2）配置102可以无密登录103和104
• 3、配置集群
• • （1）核心配置文件
  • （2）群起集群
  • （3）集群基本测试
  • （4）配置历史服务器
  • （5）配置日志的聚集

1、Hadoop的scp与rsync命令

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

• 本地模式：单机运行，生产环境不用。
• 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
• 完全分布式模式：多台服务器组成分布式环境，生产环境使用。

（1）本地运行模式

现在在word.txt里面写了数据，现在想统计这份数据当中，每个单词出现的频数。

mapreduce程序必须指定对应的输入路径和输出路径，并且输出路径不能存在。

[root@hadoop102 hadoop-3.1.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcountput

（2）完全分布式搭建

现在hadoop102上已经安装好JDK与hadoop，并配置好环境变量了，接下来要写一个集群分发脚本，将hadoop102的拷贝到103和104上。

【1】利用102将102的文件推到103

在102上操作，将102的JDK拷贝到103：

在进行这一步操作的时候，我的102的网络一直有问题，并且还出现Xshell无法连接服务器的问题，重启也解决不了，最终通过这篇博客得到解决
网络异常：Failed to start LSB: Bring up/down networking

原因是因为wenxin这个用户没有写入权限，将权限修改成root即可：

【2】利用103将102的文件拉到103

在103上操作，将102的文件拉到103

【3】利用103将102的文件拉到104

（3）rsync命令

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsyns和scp的区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新【就是不相同的地方】。scp是把所有文件都复制过去。

将103的两个文件删除：

接下来在102上将hadoop的内容都同步到103上。【没同步之前两种相差刚刚删除的两个文件】

（4）xsync集群分发脚本

（a）在bin目录下创建一个xsync文件，就能够实现在全局当中使用

[wenxin@hadoop102 opt]$ cd /home/atguigu
[wenxin@hadoop102 ~]$ mkdir bin
[wenxin@hadoop102 ~]$ cd bin
[wenxin@hadoop102 bin]$ vim xsync

文件内容如下：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

（b）修改脚本 xsync 具有执行权限

[wenxin@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[wenxin@hadoop102 ~]$ xsync /home/atguigu/bin

（d）将脚本复制到/bin中，以便全局调用

[wenxin@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步环境变量配置（root所有者）

[wenxin@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

让环境变量生效

[wenxin@hadoop103 bin]$ source /etc/profile
[wenxin@hadoop104 opt]$ source /etc/profile

2、ssh免密登录

（1）利用102登录103

ssh另一台电脑的IP地址

退回到hadoop102：

（2）配置102可以无密登录103和104

（1）生成公钥和私钥

[root@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102
[root@hadoop102 .ssh]$ ssh-copy-id hadoop103
[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

3、配置集群

（1）核心配置文件

配置core-site.xml

[root@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[root@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/wenxin/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[root@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

（3）YARN配置文件

配置yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（2）群起集群

1）配置workers

[root@hadoop102 hadoop]$ vim /home/wenxin/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：【注意要把原来的localhost删除】

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[root@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

（2）启动HDFS

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

在这个环节我又遇到了一个错误，结果查找了以下的博客成功解决【我使用的是第一个方法】：两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

检查一下发现103和104也启动完毕了

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

-- （a）浏览器中输入：http://hadoop102:9870

-- （b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

-- （a）浏览器中输入：http://hadoop103:8088

-- （b）查看YARN上运行的Job信息

由于我们在103上安装了RM，因此要在103上启动

这里又出现一个问题，不过也解决了：启动start-yarn.sh报错ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no

（3）集群基本测试

在hadoop102上启动HDFS：

在配置了ResourceManager的节点（hadoop103）启动YARN：

打开这两个网址：http://hadoop102:9870 、 http://hadoop103:8088

注：这里如果关掉集群使用

如果想要单独停止某个服务的话：

（1）上传文件到集群

• 上传小文件

[root@hadoop102 ~]$ hadoop fs -mkdir /input
[root@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

hadoop fs -mkdir /input: 这条命令在 HDFS 中创建了一个名为 /input 的目录。在 Hadoop 中，HDFS 是用于存储数据的分布式文件系统，hadoop fs -mkdir 命令用于创建目录。

hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input: 这条命令将本地文件系统中的 $HADOOP_HOME/wcinput/word.txt 文件上传到先前创建的 /input 目录中。hadoop fs -put 命令用于将本地文件上传到 HDFS 中的指定位置。

• 上传大文件

[root@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上传文件后查看文件存放在什么位置

• 查看HDFS文件存储路径

[root@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

• 查看HDFS在磁盘存储文件内容

[root@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
wenxin
wenxin

（3）拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu   1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu  63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu    495635 5月  23 16:01 blk_1073741837_1013.meta
[root@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[root@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[root@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下载

[root@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）执行wordcount程序

[root@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

上面这个命令的目的是运行一个 WordCount MapReduce 作业，从指定的输入路径 /input 读取数据，对其中的单词进行计数，并将结果输出到指定的输出路径 /output

（4）配置历史服务器

这步操作是为了解决上面的这个问题：

具体配置步骤如下：

1）配置mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2）分发配置

[root@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102启动历史服务器

[root@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[root@hadoop102 hadoop]$ jps

5）查看JobHistory

http://hadoop102:19888/jobhistory

（5）配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：
1）配置yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

【分发完毕之后一定要重启】

3）关闭NodeManager 、ResourceManager和HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动NodeManager 、ResourceManage和HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行WordCount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output