大数据学习1.5-单机Hadoop

1.修改主机信息

复制代码

vi /etc/hosts

2.修改信息如下(这里第三位一定是自己的IP 每个人都不一样)

复制代码

192.168.216.140 hadoop01
192.168.216.141 hadoop02
192.168.216.142 hadoop03

3.修改Hadoop配置信息-1进入配置信息文件

复制代码

cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/

4.修改Hadoop配置信息-2vi hadoop-env.sh

复制代码

vi hadoop-env.sh

追加如下信息

复制代码

JAVA_HOME=/usr/local/java/jdk1.8.0_221

5.修改Hadoop配置信息-3vi hdfs-site.xml

复制代码

vi hdfs-site.xml

追加如下信息(这里是单机以后还需要改先一步一步来 )

复制代码

<property>
 <name>dfs.replication</name>
 <value>2</value>
</property>
<property> 
<name>dfs.namenode.secondary.http-address</name> 
<value>hadoop01:50090</value> 
</property>

6.修改Hadoop配置信息-4vi core-site.xml

复制代码

vi core-site.xml

追加如下信息

复制代码

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>  
<value>/usr/local/hadoop/hadoop-2.7.1/tmp</value>
</property>

7.修改Hadoop配置信息-5vi mapred-site.xml

首先进行一个复制

复制代码

cp mapred-site.xml.template mapred-site.xml

复制代码

vi mapred-site.xml

添加下面内容

复制代码

<property>
 <name>MapReduce.framework.name</name>
 <value>yarn</value>
</property>

8.修改Hadoop配置信息-3vi yarn-site.xml

复制代码

vi yarn-site.xml

9.生成公钥和私钥

复制代码

ssh-keygen -t rsa

然后三下回车

10.发送密钥

复制代码

ssh-copy-id hadoop01

11.格式化namenode(第一次启动格式化以后不需要)

复制代码

 hdfs namenode -format

12.切换到hadoop文件夹

复制代码

cd /usr/local/hadoop/hadoop-2.7.1/

13.启动hadoop

复制代码

sbin/start-all.sh

14.查看网站

复制代码

hadoop01:50090

15.Hadoop实战-2创建input目录

复制代码

hadoop fs -mkdir /input

16.Hadoop实战-1创建work.txt并编辑

复制代码

vi word.txt

Hello Dear Firend
Good Good Study
Day Day up

17.Hadoop实战-3将word,txt放入input中

复制代码

 hadoop fs -put word.txt /input/word.txt

18.Hadoop实战-4进行单词统计

复制代码

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/word.txt /output