【hadoop】部署hadoop的伪分布模式

hadoop的伪分布模式

伪分布模式的特点

  1. 在单机上,模拟一个分布式的环境
  2. 具备Hadoop的所有的功能
  3. 用于开发和测试
复制代码
    HDFS:NameNode、DataNode、SecondaryNameNode
复制代码
   Yarn:ResourceManager、NodeManager

部署伪分布模式

前提:部署好hadoop的本地模式
点击设置hadoop的本地模式

伪分布模式的部署主要是将下面的参数文件的配置参数进行更改。

hadoop-env.sh

注:如果在本地模式已经配置完成,这个文件则不需要重复配置。

路径:/root/training/hadoop-2.7.3/etc/hadoop($HADOOP_HOME/etc/hadoop)

更改第25行 export JAVA_HOME=/root/training/jdk1.8.0_181

hdfs-site.xml

进入 /root/training/hadoop-2.7.3/etc/hadoop/ 路径找到 hdfs-site.xml 文件进行编辑。

java 复制代码
vi hdfs-site.xml

将下面xml代码添加该文件

xml 复制代码
<!--数据块的冗余度,默认是3-->
<!--一般来说,数据块冗余度跟数据节点的个数一致,最大不超过3-->
<!--由于这是伪分布模式,所以这里冗余度设置为1-->
<property>
		<name>dfs.replication</name>
		<value>1</value>
</property>

core-site.xml

需要在hadoop目录下,先创建出tmp文件,作为HDFS对应的操作系统目录。

java 复制代码
mkdir /root/training/hadoop-2.7.3/tmp

编辑操作与上面文件相同,则不演示。

xml 复制代码
<!--配置NameNode的地址-->
<!--9000是RPC通信的端口-->
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://bigdata111:9000</value>
</property>

 <!--HDFS对应的操作系统目录-->
<!--默认值是Linux的tmp目录-->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

mapred-site.xml

这个文件默认没有,需要我们先复制

java 复制代码
cp mapred-site.xml.template mapred-site.xml
xml 复制代码
<!--配置MapReduce运行的框架是Yarn-->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

yarn-site.xml

xml 复制代码
<!--配置ResourceManager的地址-->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>bigdata111</value>
</property>

<!--MapReduce运行的方式是洗牌-->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

对NameNode进行格式化

执行下面这条命名

java 复制代码
hdfs namenode -format

成功则出现下面这句话。

启动Hadoop

java 复制代码
 start-all.sh

需要输入4次密码和yes。

至此部署完成,下面进行测试!

对部署是否完成进行测试

将本地文件上传到hdfs

进入/root/training/hadoop-2.7.3/share/hadoop/mapreduce/

java 复制代码
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output/wc

停止集群

java 复制代码
stop-all.sh

也需要输入4次密码,输入密码太麻烦,所以我们还需要配置免密码模式。

免密码模式

免密码模式的原理(重要)

免密码模式的配置

java 复制代码
ssh-keygen -t rsa
java 复制代码
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111

注:root@bigdata111 是你当前的主机名


免密码模式配置完成!

相关推荐
大大大大晴天6 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云7 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏8 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata9 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒10 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
西木Qi11 小时前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding11 小时前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
回眸&啤酒鸭12 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
starzy199012 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
伞伞悦读12 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习