【赫兹威客】Hadoop完全分布式克隆文件部署教程

本文档为Hadoop完全分布式部署教程,基于最新部署流程整理,核心涵盖克隆文件确认、VMware服务与网络配置、虚拟机导入与设置、IP与域名映射配置等全流程。教程结合具体操作步骤与命令说明,可完成Hadoop完全分布式环境的基础部署,确保三个虚拟机节点间互通、虚拟与本机互联及外网访问正常。所需Hadoop虚拟机克隆文件需提前下载并解压完成。

一、前期准备:克隆文件确认

提前获取Hadoop虚拟机克隆文件,确保网络通畅后完成下载。下载完成后,在本地指定文件夹中进行解压操作,解压完成后确认文件夹内文件完整(需包含核心虚拟机配置文件,如.vmx文件),记录该解压文件夹路径。因需部署三个虚拟机节点,后续需通过该解压文件分别导入三个节点。

二、Hadoop完全分布式部署步骤

步骤1:确认下载并解压好的克隆文件

导航至前期规划的解压文件夹,核对文件夹内文件完整性,重点确认是否存在虚拟机核心配置文件(如hadoop.vmx),确保克隆文件无缺失、无损坏,为后续虚拟机导入做准备。

步骤2:管理员打开CMD并启动VMware NAT Service

在本机Windows系统中,右键点击"命令提示符",选择"以管理员身份运行"。在打开的CMD窗口中,输入命令 sc start "VMware NAT Service" 并回车。执行完成后,查看命令输出结果,确认"VMware NAT Service"服务已成功运行(若提示"服务已经启动",则无需再次操作)。

步骤3:VMware导入三个虚拟机

打开VMware虚拟机软件,点击界面左上角的"文件"菜单,选择"打开"选项。在弹出的文件选择窗口中,导航至前期记录的解压文件夹路径,选中文件夹内的虚拟机核心配置文件(.vmx),点击"打开",将第一个虚拟机加载到VMware的虚拟机列表中。重复上述操作,分别加载另外两个虚拟机。

步骤4:打开VMware虚拟网络编辑器

在VMware软件界面中,点击顶部菜单栏的"编辑"选项,在下拉菜单中选择"虚拟网络编辑器",打开虚拟网络配置界面。

步骤5:点击"更改设置"

在虚拟网络编辑器界面中,点击右下角的"更改设置"按钮(若弹出权限验证窗口,点击"确定"通过验证),进入可编辑状态。

步骤6:还原默认设置

在可编辑状态的虚拟网络编辑器中,点击界面左侧的"还原默认设置"按钮,按照提示完成默认设置还原(此步骤用于清除原有网络配置残留,确保新配置生效)。

步骤7:修改VM8子网IP

在虚拟网络编辑器的网络列表中,选中"VMnet8"(对应NAT模式网络),在界面下方的"子网IP"输入框中,将原有IP修改为 192.168.20.0(注意:此处可自定义IP,需要记录,与后续网关配置匹配)。

步骤8:修改NAT网关IP并应用

在虚拟网络编辑器中,点击"NAT设置"按钮,打开NAT配置界面。在"网关IP"输入框中,将原有网关IP修改为 192.168.20.2,点击"确定"保存NAT配置。返回虚拟网络编辑器界面后,点击"应用"按钮,使子网IP和网关配置生效。

步骤9:编辑虚拟机网络设置

在VMware虚拟机列表中,选中hadoop01虚拟机,右键点击选择"编辑虚拟机设置"(或直接点击界面中的"编辑虚拟机设置"按钮),打开虚拟机硬件配置界面。

步骤10:设置网络适配器为NAT模式

在虚拟机hadoop01的硬件配置界面中,选中"网络适配器"选项,在界面右侧的"网络连接"区域,选择"NAT模式",点击"确定"保存配置。在虚拟机hadoop02和hadoop03重复步骤九、步骤十,确保hadoop01、hadoop02、hadoop03三个虚拟机均配置为NAT模式。

步骤11:开启三个虚拟机

在VMware的虚拟机列表中,依次选中hadoop01、hadoop02、hadoop03三个虚拟机,分别点击"开启此虚拟机"按钮(可同时开启多个虚拟机)。等待所有虚拟机启动完成,直至均出现登录界面。

步骤12:输入账号密码登录

分别在三个虚拟机的登录界面,输入预设的账号和密码(通常为普通用户账号:hertz,密码:hertz;若为其他账号密码,需按实际情况输入)。输入完成后确认登录,三个节点均进入虚拟机命令行界面(建议保持命令行界面,便于后续操作)。

步骤13:输入ip a查看虚拟机IP

在每个虚拟机的命令行中,输入命令 ip a 并回车,查找各虚拟机ens33网卡对应的IP地址(通常以inet开头),查看并记录当前IP,便于后续修改时对比确认。

步骤14:修改虚拟机IP和网关配置文件

分别在hadoop01、hadoop02、hadoop03三个虚拟机的命令行中,输入命令 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 并回车,输入root密码(默认密码:1)后进入vi编辑器界面。按i键进入编辑模式,根据节点需求修改以下配置项:

  • hadoop01配置:IPADDR=192.168.20.201;GATEWAY=192.168.20.2;
  • hadoop02配置:IPADDR=192.168.20.202;GATEWAY=192.168.20.2;
  • hadoop03配置:IPADDR=192.168.20.203;GATEWAY=192.168.20.2;

修改完成后,按Esc键退出编辑模式,输入 :wq 并回车,保存修改并退出vi编辑器。

步骤15:重启网络服务

分别在三个虚拟机的命令行中,输入命令 sudo systemctl restart network 并回车。等待每个节点的网络服务重启完成,若命令行无报错提示,即表示网络服务重启成功,IP和网关配置已初步生效。

步骤16:测试虚拟机外网连通性

在每个虚拟机的命令行中,输入命令 ping www.baidu.com -c 3 并回车。观察输出结果,若出现"64 bytes from XXX.XXX.XXX.XXX: icmp_seq=1 ttl=XXX time=XXms"格式的提示,说明虚拟机外网访问正常。

步骤17:使用Mobaxterm连接虚拟机

打开本机的Mobaxterm软件,点击界面左上角的"Session"按钮,在弹出的窗口中选择"SSH"选项。在"Remote host"输入框中填写目标虚拟机的IP地址(hadoop01填192.168.20.201,hadoop02填192.168.20.202,hadoop03填192.168.20.203),"Port"保持默认的22不变,点击"OK"。按照相同方法,分别创建三个虚拟机的SSH连接。

步骤18:Mobaxterm输入账号密码登录

分别打开hadoop01、hadoop02、hadoop03的Mobaxterm连接窗口,在弹出的登录窗口中,输入虚拟机的账号和密码(与步骤12一致),点击确认。若每个节点均登录成功,Mobaxterm界面将显示对应节点的命令行提示符,说明本机与三个虚拟机的连接正常。

步骤19:Mobaxterm中测试外网连通性

分别在三个虚拟机的Mobaxterm命令行中,输入命令 ping www.baidu.com -c 3 并回车。再次验证虚拟机外网访问正常,确保远程连接状态下网络通畅。

步骤20:Mobaxterm中测试节点间连通性(未配置 域名前)

以hadoop01节点的Mobaxterm窗口为例,输入命令 ping hadoop02 -c 3 和ping hadoop03 -c 3 并依次回车。此时因尚未配置域名映射,大概率会出现"请求找不到主机"或"100% packet loss"提示,该结果为正常现象,后续配置域名后需再次验证。

步骤21:修改虚拟机域名映射文件

分别在hadoop01、hadoop02、hadoop03的Mobaxterm命令行中,输入命令 sudo vi /etc/hosts 并回车,输入root密码后进入vi编辑器。按i键进入编辑模式,在每个节点的hosts文件中添加/修改以下内容:

|----------------------------------------------------------------------------------------------------|
| text 192.168.20.201 hadoop 192.168.20.201 hadoop01 192.168.20.202 hadoop02 192.168.20.203 hadoop03 |

添加完成后,按Esc键退出编辑模式,输入:wq 并回车保存退出。

步骤22:再次测试节点间连通性(配置域名后)

再次在hadoop01节点的Mobaxterm命令行中,输入命令 ping hadoop02 -c 3 和 ping hadoop03 -c 3 并依次回车。此时应能正常接收数据包,无丢包现象,说明三个虚拟机节点间的域名映射配置生效。

步骤23:本机CMD测试虚拟机域名连通性(未配置本机映射前)

回到本机Windows系统,打开CMD窗口(无需管理员权限),输入命令 ping hadoop01 并回车。此时因尚未配置本机域名映射,大概率会出现"请求找不到主机hadoop01"提示,后续配置本机hosts文件后需验证。

步骤24:修改本机hosts文件

在本机Windows系统中,导航至路径 C:\Windows\System32\drivers\etc,找到hosts文件。右键点击hosts文件,选择"用记事本打开";若提示权限不足,可先将hosts文件复制到桌面,用记事本打开桌面副本进行编辑。在hosts文件末尾添加以下内容:

|------------------------------|
| text 192.168.20.201 hadoop01 |

编辑完成后保存文件,若修改的是桌面副本,需将修改后的hosts文件复制回原路径并覆盖原文件(若提示权限不足,右键点击记事本选择"以管理员身份运行"后重新操作)。

步骤25:本机CMD再次测试虚拟机域名连通性

回到本机CMD窗口,再次输入命令 ping hadoop01 并回车。若能正常接收数据包,无丢包现象,且IP与配置的相同,说明本机与虚拟机hadoop01节点的域名映射配置生效。

三、部署验证与注意事项

1. 核心验证要点

  • 三个虚拟机IP修改后,通过 ip a 命令确认各自静态IP(201、202、203)均生效,且与配置一致;
  • 三个虚拟机通过本地命令行和Mobaxterm均能ping通外网(www.baidu.com),确保外网连通性;
  • 配置域名映射后,虚拟机节点间(如hadoop01 ping hadoop02、hadoop03)均能通过域名正常ping通,无丢包;
  • 修改本机hosts文件后,本机CMD能通过域名ping通hadoop01节点,确保本机与虚拟机的域名映射正常。

2. 关键注意事项

  • 步骤2中需以管理员身份启动CMD,否则可能因权限不足导致"VMware NAT Service"服务启动失败;启动前可通过 sc query "VMware NAT Service" 命令查看服务当前状态;
  • 虚拟网络配置(步骤4-8)是关键,需确保VM8子网IP为192.168.20.0、网关为192.168.20.2,且三个虚拟机均配置为NAT模式,否则会导致网络不通;
  • 修改虚拟机IP和hosts文件时,需仔细核对IP地址和域名的对应关系,三个节点的IP需互不相同且处于192.168.20网段,避免输入错误;
相关推荐
编程彩机2 小时前
互联网大厂Java面试:从Spring Boot到分布式缓存的技术场景解析
java·redis·分布式·缓存·大厂面试·技术解析·sprint boot
你才是臭弟弟2 小时前
Apache Flink+Apache Iceberg(协作关系)
大数据·flink·apache
王九思2 小时前
SQL网关 Kyuubi 系列——基本介绍
数据仓库·hive·hadoop·sql·spark
KdanMin2 小时前
“日志抓不到”到“全链路可追溯”:一次 Android 系统级日志体系的工程化实践
大数据·人工智能
珠海西格电力2 小时前
零碳园区如何实现能源互联
大数据·人工智能·物联网·架构·能源
StarChainTech3 小时前
一站式租车平台革新:从信用免押到全流程可视化管理的技术实践
大数据·人工智能·微信小程序·小程序·软件需求
SmartBrain3 小时前
战略洞察:MAAS平台在三医领域的应用案例分析
大数据·人工智能·语言模型
海棠AI实验室4 小时前
第十六章 迭代器与生成器:处理大数据的第一步
大数据·迭代器·生成器
Hello.Reader4 小时前
Flink 部署组件拆解、参考架构、Application vs Session 选型,以及生产落地 Checklist
大数据·架构·flink