5 群起集群

1.在启动集群之前,先配置workers,有几个节点就配置几个

powershell 复制代码
[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容:

hadoop102

hadoop103

hadoop104

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。并将原先的localhost删除

2.同步所有节点配置文件

powershell 复制代码
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

3.启动集群

注意:如果是第一次启动集群,需要进行初始化,只有第一次启动的时候才需要初始化。

  1. 初始化命令:(注意用户使用atguigu,不要用root,不然还是删除data,logs重新格式化)
powershell 复制代码
[root@hadoop102 hadoop] hdfs namenode -format

初始化结束后,路径下会多出data,logs目录,如图所示:

  1. 启动HDFS

因为旨在hadoop102机器上进行了格式化,因此只有这台机器有如下的配置文件





3)在配置了ResourceManager的节点(hadoop103)启动YARN

powershell 复制代码
[atguigu@hadoop103 sbin]$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers
[atguigu@hadoop103 sbin]$ 




相关推荐
starzy19902 天前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
AI源码3 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
演艺大赏5 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19905 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏6 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏6 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Francek Chen17 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠20 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria21 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN21 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习