一：系统环境设置（所有节点都设置）
1：关闭selinux和防火墙
setenforce 0
sed -i '/^SELINUX=/s/enforcing/disabled/' /etc/selinux/config
systemctl stop firewalld
systemctl disable firewalld
2：为各个节点设置主机名
hostnamectl set-hostname node1
bash
hostnamectl set-hostname node2
bash
hostnamectl set-hostname node3
bash
3：修改每台主机的hosts文件
cat <<EOF>>/etc/hosts
192.168.10.101 node1
192.168.10.102 node2
192.168.10.103 node3
EOF
4：创建hdoop用户组和hduser用户
root@node1 \~# groupadd hadoop
root@node1 \~# useradd -g hadoop hduser
root@node1 \~# passwd hduser
此处设置密码
5：为hduser用户授权
root@node1 \~# visudo
在末尾添加：
hduser ALL=(ALL) ALL
6：安装JDK
root@node1 \~# rpm -ivh jdk-8u171-linux-x64.rpm
root@node1 \~# vim /etc/profile
在末尾添加：
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export CLASSPATH=JAVA_HOME/lib:CLASSPATH
export PATH=JAVA_HOME/bin:PATH
root@node1 \~# source /etc/profile
7：配置免密码登录（在node1上配置）
root@node1 \~# su - hduser
hduser@node1 \~$ ssh-keygen -t rsa //一路回车键即可
hduser@node1 \~$ ssh-copy-id hduser@node1
hduser@node1 \~$ ssh-copy-id hduser@node2
hduser@node1 \~$ ssh-copy-id hduser@node3
二：安装Hadoop
1：将hadoop包拷贝到hduser的家目录并解压
在node1上操作
hduser@node1 \~$ tar zxvf hadoop-2.6.5.tar.gz
hduser@node1 \~$ mv hadoop-2.6.5 hadoop
2：配置hadoop的环境变量
hduser@node1 \~$ sudo vim /etc/profile
在末尾添加：
export HADOOP_HOME=/home/hduser/hadoop
export PATH=HADOOP_HOME/bin:PATH
hduser@node1 \~$ source /etc/profile
3：配置hadoop-env.sh 文件
hduser@node1 \~$ cd ~/hadoop/etc/hadoop/
hduser@node1 hadoop$ vim hadoop-env.sh
在末尾添加：
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
4：修改yarn-env.sh文件
hduser@node1 hadoop$ vim yarn-env.sh
在末尾添加
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
5：修改slaves文件
hduser@node1 hadoop$ vim slaves
清空文件中原有的内容
node2
node3
6：编辑core-site.xml文件
hduser@node1 hadoop$ vim core-site.xml
在末尾找到<configuration>模块
在里面添加配置：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hduser/hadoop/tmp</value>
</property>
</configuration>
备注：定义hdfs的uri，以及hdfs的临时目录
7：编辑hdfs-site.xml文件
hduser@node1 hadoop$ vim hdfs-site.xml
在末尾找到<configuration>模块
在里面添加：
<configuration>
<property><name>dfs.namenode.secondary.http-address</name><value>node1:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
备注：
名称节点和数据节点的存放位置，文件副本数和读取权限。
8：修改mapred-site.xml文件
hduser@node1 hadoop$ cp mapred-site.xml.template mapred-site.xml
hduser@node1 hadoop$ vim mapred-site.xml
在末尾找到<configuration>模块，在里面添加：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node1:19888</value>
</property>
</configuration>
备注：Mapreduce作业记录的web地址和端口。
9：修改yarn-site.xml文件
hduser@node1 hadoop$ vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>node1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>node1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>node1:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>node1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>node1:8088</value>
</property>
</configuration>
备注：
resourcemanager、nodemanager的通信端口，web端口等信息
10：将hadoop目录拷贝到其他节点上
root@node1 \~#scp -r /home/hduser/hadoop node2:/home/hduser
root@node1 \~#scp -r /home/hduser/hadoop node3:/home/hduser
三：验证安装配置
1：在 Master 主机（node1）上格式化 NameNode
hduser@node1 \~$ cd hadoop/
hduser@node1 hadoop$ bin/hdfs namenode -format
hduser@node1 hadoop$ sbin/start-dfs.sh
2：查看进程
hduser@node1 hadoop$ jps
16721 Jps
15687 NameNode
15866 SecondaryNameNode
3：启动yarn
hduser@node1 hadoop$ sbin/start-yarn.sh
4：查看集群环境
hduser@node1 hadoop$ bin/hdfs dfsadmin -report
5：浏览器查看 HDFS 运行状态：
四：运行 Hadoop 的 WordCount 程序
WordCount 实现了对文本中的单词计数的功能，并要求输出结果并按单词首字母排序
1：创建测试文件的目录
hduser@node1 \~$ mkdir ~/file
2：编辑测试文件
hduser@node1 \~$ cd ~/file/
hduser@node1 file$ echo "ni hao hadoop">file1.txt
hduser@node1 file$ echo "hello hadoop hi china">file2.txt
3：启动hadoop并 创建hdfs目录
hduser@node1 file$ cd ~/hadoop/
hduser@node1 hadoop$ sbin/start-all.sh
hduser@node1 hadoop$ bin/hadoop fs -mkdir /input2
4：将file1和file2拷贝到hdfs存储目录中
hduser@node1 hadoop$ bin/hadoop fs -put ~/file/file* /input2/
hduser@node1 hadoop$ bin/hadoop fs -ls /input2/
5：执行WordCount程序，对文件进行统计
hduser@node1 hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input2/ /output2/wordcount1
注意：输出目录不能已存在，否则不会输出
6：查看执行结果
hduser@node1 hadoop$ bin/hadoop fs -cat /output2/wordcount1/*
如果看到输出结果证明hadoop安装成功