5 群起集群

1.在启动集群之前,先配置workers,有几个节点就配置几个

powershell 复制代码
[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容:

hadoop102

hadoop103

hadoop104

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。并将原先的localhost删除

2.同步所有节点配置文件

powershell 复制代码
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

3.启动集群

注意:如果是第一次启动集群,需要进行初始化,只有第一次启动的时候才需要初始化。

  1. 初始化命令:(注意用户使用atguigu,不要用root,不然还是删除data,logs重新格式化)
powershell 复制代码
[root@hadoop102 hadoop] hdfs namenode -format

初始化结束后,路径下会多出data,logs目录,如图所示:

  1. 启动HDFS

因为旨在hadoop102机器上进行了格式化,因此只有这台机器有如下的配置文件





3)在配置了ResourceManager的节点(hadoop103)启动YARN

powershell 复制代码
[atguigu@hadoop103 sbin]$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers
[atguigu@hadoop103 sbin]$ 




相关推荐
BYSJMG11 小时前
计算机毕设选题推荐:基于大数据的公共交通运营数据分析与可视化,Spark+K-Means聚类城市运营模式
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
Gl�ria14 小时前
Hadoop MapReduce/Hive 数据倾斜完整排查
hive·hadoop·mapreduce
Gl�ria15 小时前
Hadoop Hive 和 YARN 的关系
数据仓库·hive·hadoop
pjj198542 天前
Hadoop-python中使用大数据
大数据·hadoop·python
计算机源码社3 天前
分享一个基于大数据的跨平台内容生态画像与互动等级分析系统,基于Hadoop+Spark的社交媒体互动数据可视化大屏分析
大数据·hadoop·python·机器学习·数据挖掘·spark·毕业设计
BYSJMG3 天前
计算机毕设选题做什么好?基于大数据的用户健身行为数据分析与可视化系统,Hadoop+Spark处理
大数据·人工智能·hadoop·数据分析·spark·课程设计
ha_lydms3 天前
HDFS 简介
大数据·hadoop·hdfs·yarn·调度·aliyun·计算
2601_962298093 天前
零基础学大数据分析全栈
hadoop·python·spark·实战·大数据分析
ha_lydms4 天前
HDFS的读写流程
大数据·hadoop·hdfs·mapreduce·yarn·maxcompute·odps
BYSJMG5 天前
大数据毕业设计选题推荐:基于大数据的全球气温历史演变分析与可视化,用Hadoop+Spark处理
大数据·hadoop·分布式·信息可视化·spark·kmeans·课程设计