大数据学习1.5-单机Hadoop

1.修改主机信息

复制代码
vi /etc/hosts

2.修改信息如下(这里第三位一定是自己的IP 每个人都不一样)

复制代码
192.168.216.140 hadoop01
192.168.216.141 hadoop02
192.168.216.142 hadoop03

3.修改Hadoop配置信息-1进入配置信息文件

复制代码
cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/

4.修改Hadoop配置信息-2vi hadoop-env.sh

复制代码
vi hadoop-env.sh 

追加如下信息

复制代码
JAVA_HOME=/usr/local/java/jdk1.8.0_221

5.修改Hadoop配置信息-3vi hdfs-site.xml

复制代码
vi hdfs-site.xml

追加如下信息(这里是单机 以后还需要改 先一步一步来 )

复制代码
<property>
 <name>dfs.replication</name>
 <value>2</value>
</property>
<property> 
<name>dfs.namenode.secondary.http-address</name> 
<value>hadoop01:50090</value> 
</property>

6.修改Hadoop配置信息-4vi core-site.xml

复制代码
vi core-site.xml

追加如下信息

复制代码
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>  
<value>/usr/local/hadoop/hadoop-2.7.1/tmp</value>
</property>

7.修改Hadoop配置信息-5vi mapred-site.xml

首先进行一个复制

复制代码
cp mapred-site.xml.template mapred-site.xml
复制代码
vi mapred-site.xml

添加下面内容

复制代码
<property>
 <name>MapReduce.framework.name</name>
 <value>yarn</value>
</property>

8.修改Hadoop配置信息-3vi yarn-site.xml

复制代码
vi yarn-site.xml

9.生成公钥和私钥

复制代码
ssh-keygen -t rsa

然后三下回车

10.发送密钥

复制代码
ssh-copy-id hadoop01

11.格式化namenode(第一次启动格式化 以后不需要)

复制代码
 hdfs namenode -format

12.切换到hadoop文件夹

复制代码
cd /usr/local/hadoop/hadoop-2.7.1/

.

13.启动hadoop

复制代码
sbin/start-all.sh

14.查看网站

复制代码
hadoop01:50090

15.Hadoop实战-2创建input目录

复制代码
hadoop fs -mkdir /input

16.Hadoop实战-1创建work.txt并编辑

复制代码
vi word.txt

Hello Dear Firend
Good Good Study
Day Day up

17.Hadoop实战-3将word,txt放入input中

复制代码
 hadoop fs -put word.txt /input/word.txt

18.Hadoop实战-4进行单词统计

复制代码
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/word.txt /output
相关推荐
蒸蒸yyyyzwd25 分钟前
数据库相关错题笔记
笔记·学习
字节跳动数据平台2 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
蒸蒸yyyyzwd2 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
Hhy_11073 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑3 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
安心联-车辆监控管理系统4 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
yiangL_17 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
大大大大晴天19 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云19 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
优化Henry20 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd