5 群起集群

1.在启动集群之前,先配置workers,有几个节点就配置几个

powershell 复制代码
[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容:

hadoop102

hadoop103

hadoop104

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。并将原先的localhost删除

2.同步所有节点配置文件

powershell 复制代码
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

3.启动集群

注意:如果是第一次启动集群,需要进行初始化,只有第一次启动的时候才需要初始化。

  1. 初始化命令:(注意用户使用atguigu,不要用root,不然还是删除data,logs重新格式化)
powershell 复制代码
[root@hadoop102 hadoop] hdfs namenode -format

初始化结束后,路径下会多出data,logs目录,如图所示:

  1. 启动HDFS

因为旨在hadoop102机器上进行了格式化,因此只有这台机器有如下的配置文件





3)在配置了ResourceManager的节点(hadoop103)启动YARN

powershell 复制代码
[atguigu@hadoop103 sbin]$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers
[atguigu@hadoop103 sbin]$ 




相关推荐
IT毕设梦工厂5 小时前
计算机毕业设计选题推荐:基于大数据的杭州亚运会社交媒体互动数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·信息可视化·数据挖掘·数据分析·课程设计·数据分析数据可视化
CarIise12 小时前
Spring Boot整合MyBatis与文件上传:从分层架构到文件上传下载实战
数据仓库·hive·hadoop
计算机源码社15 小时前
【27届大数据毕设】基于Spark的TikTok短视频属性分享与互动比率可视化分析系统 基于机器学习的TikTok短视频认证属性与互动效能关联分析
大数据·hadoop·python·机器学习·spark·毕业设计·课程设计
ha_lydms1 天前
MaxCompute中加密与解密函数
大数据·数据库·数据仓库·hadoop·dataworks·maxcompute·odps
Q26433650232 天前
【有源码】基于Spark的电商客户细分与盈利洞察分析系统-面向精准营销的电商客户细分模型构建与盈利能力可视化研究
大数据·hadoop·分布式·数据挖掘·数据分析·spark·毕业设计
计算机源码社2 天前
【27届大数据毕设】基于Spark的AI艺术创作者价值评估与市场趋势预测研究 基于Python与Spark的AI生成艺术受众画像及异常热度识别可视化平台
大数据·人工智能·hadoop·python·spark·毕业设计·课程设计
ha_lydms2 天前
MaxCompute中窗口函数
大数据·hadoop·阿里云·云计算·dataworks·maxcompute·odps
千里码aicood2 天前
基于Hadoop的机票价格波动分析系统的设计与实现
大数据·hadoop·分布式
IT毕设梦工厂3 天前
计算机毕业设计选题推荐:基于大数据的供应链数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hive·hadoop·python·数据分析·spark·课程设计
BYSJMG3 天前
计算机毕业设计选题推荐|【基于深度学习的面部关键特征识别与检测】YOLO目标检测+ONNX推理
大数据·hadoop·数据分析·spark·课程设计