Hadoop完全分布式环境部署

  1. 准备3台虚拟机,使用ping命令确保虚拟机能够联网,以root用户身份分别在三台虚拟机完成以下系统配置:

(1)在三台虚拟机分别使用yum安装epel-release

(2)在三台虚拟机分别关闭防火墙,保证虚拟机间能够互相ping通

(3)在三台虚拟机分别创建hadoop用户,并配置sudo

(4)在三台虚拟机中分别创建/opt/module, /opt/software 文件夹,并将目录的所有者和所属群组改为haoop用户

(5)在三台虚拟机中卸载自带jdk

提示: rpm -qa | grep java | xargs -n1 rpm -e --nodeps

(6)修改主机名称(/etc/hosts),分别为hadoopxx hadoopxx hadoopxx(xx用自己名字拼音首字母替换)

(7)配置hosts文件,将主机名与IP进行映射

(8)检查上述配置是否生效,不生效可重启虚拟机

2、切换到hadoop身份,分别在三台虚拟机安装JDK

(1)上传JDK安装包到/opt/software,解压安装到/opt/module

(2)配置环境变量,在/etc/profile.d目录下创建自己的环境变量配置文件my_env.sh

(3)添加环境变量JAVA_HOME, 并将JAVA_HOME/bin添加到PATH目录

(4)用source命令使环境变量设置生效

(5)查看JDK是否安装成功

3、以hadoop身份,分别在三台虚拟机继续安装Hadoop

(1)下载Hadoop-3.1.3.tar.gz到/opt/software,解压安装到/opt/module

(2)在my_env.sh文件添加HADOOP_HOME环境变量,并追加到PATH环境变量

(3)用source命令使环境变量生效

(4)配置无密码登录,确保主机间能够以hadoop身份通过ssh无密码互相访问(包括自己)

4.集群配置

(1)集群规划如下:

第一个节点: NameNode、DataNode、NodeManager

第二个节点: DataNode、ResourceManager、NodeManager

第三个节点:Secondary NameNode, DataNode,NodeManager

(2)在一台机器配置:core-site.xml 、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers文件

(3)将配置文件同步到其它两个节点

(4)启动hdfs

(5)启动yarn

(6)浏览器测试hdfs、yarn

相关推荐
你觉得20518 分钟前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国33 分钟前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
爱的叹息1 小时前
主流数据库的存储引擎/存储机制的详细对比分析,涵盖关系型数据库、NoSQL数据库和分布式数据库
数据库·分布式·nosql
Loving_enjoy1 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记1 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go
千层冷面2 小时前
RabbitMQ 发送者确认机制详解
分布式·rabbitmq·ruby
ChinaRainbowSea2 小时前
3. RabbitMQ 的(Hello World) 和 RabbitMQ 的(Work Queues)工作队列
java·分布式·后端·rabbitmq·ruby·java-rabbitmq
敖正炀2 小时前
基于RocketMQ的可靠消息最终一致性分布式事务解决方案
分布式
碳基学AI3 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
一个天蝎座 白勺 程序猿4 小时前
大数据(4.6)Hive执行引擎选型终极指南:MapReduce/Tez/Spark性能实测×万亿级数据资源配置公式
大数据·hive·mapreduce