【赫兹威客】Hadoop完全分布式克隆文件部署教程

本文档为Hadoop完全分布式部署教程,基于最新部署流程整理,核心涵盖克隆文件确认、VMware服务与网络配置、虚拟机导入与设置、IP与域名映射配置等全流程。教程结合具体操作步骤与命令说明,可完成Hadoop完全分布式环境的基础部署,确保三个虚拟机节点间互通、虚拟与本机互联及外网访问正常。所需Hadoop虚拟机克隆文件需提前下载并解压完成。

一、前期准备:克隆文件确认

提前获取Hadoop虚拟机克隆文件,确保网络通畅后完成下载。下载完成后,在本地指定文件夹中进行解压操作,解压完成后确认文件夹内文件完整(需包含核心虚拟机配置文件,如.vmx文件),记录该解压文件夹路径。因需部署三个虚拟机节点,后续需通过该解压文件分别导入三个节点。

二、Hadoop完全分布式部署步骤

步骤1:确认下载并解压好的克隆文件

导航至前期规划的解压文件夹,核对文件夹内文件完整性,重点确认是否存在虚拟机核心配置文件(如hadoop.vmx),确保克隆文件无缺失、无损坏,为后续虚拟机导入做准备。

步骤2:管理员打开CMD并启动VMware NAT Service

在本机Windows系统中,右键点击"命令提示符",选择"以管理员身份运行"。在打开的CMD窗口中,输入命令 sc start "VMware NAT Service" 并回车。执行完成后,查看命令输出结果,确认"VMware NAT Service"服务已成功运行(若提示"服务已经启动",则无需再次操作)。

步骤3:VMware导入三个虚拟机

打开VMware虚拟机软件,点击界面左上角的"文件"菜单,选择"打开"选项。在弹出的文件选择窗口中,导航至前期记录的解压文件夹路径,选中文件夹内的虚拟机核心配置文件(.vmx),点击"打开",将第一个虚拟机加载到VMware的虚拟机列表中。重复上述操作,分别加载另外两个虚拟机。

步骤4:打开VMware虚拟网络编辑器

在VMware软件界面中,点击顶部菜单栏的"编辑"选项,在下拉菜单中选择"虚拟网络编辑器",打开虚拟网络配置界面。

步骤5:点击"更改设置"

在虚拟网络编辑器界面中,点击右下角的"更改设置"按钮(若弹出权限验证窗口,点击"确定"通过验证),进入可编辑状态。

步骤6:还原默认设置

在可编辑状态的虚拟网络编辑器中,点击界面左侧的"还原默认设置"按钮,按照提示完成默认设置还原(此步骤用于清除原有网络配置残留,确保新配置生效)。

步骤7:修改VM8子网IP

在虚拟网络编辑器的网络列表中,选中"VMnet8"(对应NAT模式网络),在界面下方的"子网IP"输入框中,将原有IP修改为 192.168.20.0(注意:此处可自定义IP,需要记录,与后续网关配置匹配)。

步骤8:修改NAT网关IP并应用

在虚拟网络编辑器中,点击"NAT设置"按钮,打开NAT配置界面。在"网关IP"输入框中,将原有网关IP修改为 192.168.20.2,点击"确定"保存NAT配置。返回虚拟网络编辑器界面后,点击"应用"按钮,使子网IP和网关配置生效。

步骤9:编辑虚拟机网络设置

在VMware虚拟机列表中,选中hadoop01虚拟机,右键点击选择"编辑虚拟机设置"(或直接点击界面中的"编辑虚拟机设置"按钮),打开虚拟机硬件配置界面。

步骤10:设置网络适配器为NAT模式

在虚拟机hadoop01的硬件配置界面中,选中"网络适配器"选项,在界面右侧的"网络连接"区域,选择"NAT模式",点击"确定"保存配置。在虚拟机hadoop02和hadoop03重复步骤九、步骤十,确保hadoop01、hadoop02、hadoop03三个虚拟机均配置为NAT模式。

步骤11:开启三个虚拟机

在VMware的虚拟机列表中,依次选中hadoop01、hadoop02、hadoop03三个虚拟机,分别点击"开启此虚拟机"按钮(可同时开启多个虚拟机)。等待所有虚拟机启动完成,直至均出现登录界面。

步骤12:输入账号密码登录

分别在三个虚拟机的登录界面,输入预设的账号和密码(通常为普通用户账号:hertz,密码:hertz;若为其他账号密码,需按实际情况输入)。输入完成后确认登录,三个节点均进入虚拟机命令行界面(建议保持命令行界面,便于后续操作)。

步骤13:输入ip a查看虚拟机IP

在每个虚拟机的命令行中,输入命令 ip a 并回车,查找各虚拟机ens33网卡对应的IP地址(通常以inet开头),查看并记录当前IP,便于后续修改时对比确认。

步骤14:修改虚拟机IP和网关配置文件

分别在hadoop01、hadoop02、hadoop03三个虚拟机的命令行中,输入命令 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 并回车,输入root密码(默认密码:1)后进入vi编辑器界面。按i键进入编辑模式,根据节点需求修改以下配置项:

  • hadoop01配置:IPADDR=192.168.20.201;GATEWAY=192.168.20.2;
  • hadoop02配置:IPADDR=192.168.20.202;GATEWAY=192.168.20.2;
  • hadoop03配置:IPADDR=192.168.20.203;GATEWAY=192.168.20.2;

修改完成后,按Esc键退出编辑模式,输入 :wq 并回车,保存修改并退出vi编辑器。

步骤15:重启网络服务

分别在三个虚拟机的命令行中,输入命令 sudo systemctl restart network 并回车。等待每个节点的网络服务重启完成,若命令行无报错提示,即表示网络服务重启成功,IP和网关配置已初步生效。

步骤16:测试虚拟机外网连通性

在每个虚拟机的命令行中,输入命令 ping www.baidu.com -c 3 并回车。观察输出结果,若出现"64 bytes from XXX.XXX.XXX.XXX: icmp_seq=1 ttl=XXX time=XXms"格式的提示,说明虚拟机外网访问正常。

步骤17:使用Mobaxterm连接虚拟机

打开本机的Mobaxterm软件,点击界面左上角的"Session"按钮,在弹出的窗口中选择"SSH"选项。在"Remote host"输入框中填写目标虚拟机的IP地址(hadoop01填192.168.20.201,hadoop02填192.168.20.202,hadoop03填192.168.20.203),"Port"保持默认的22不变,点击"OK"。按照相同方法,分别创建三个虚拟机的SSH连接。

步骤18:Mobaxterm输入账号密码登录

分别打开hadoop01、hadoop02、hadoop03的Mobaxterm连接窗口,在弹出的登录窗口中,输入虚拟机的账号和密码(与步骤12一致),点击确认。若每个节点均登录成功,Mobaxterm界面将显示对应节点的命令行提示符,说明本机与三个虚拟机的连接正常。

步骤19:Mobaxterm中测试外网连通性

分别在三个虚拟机的Mobaxterm命令行中,输入命令 ping www.baidu.com -c 3 并回车。再次验证虚拟机外网访问正常,确保远程连接状态下网络通畅。

步骤20:Mobaxterm中测试节点间连通性(未配置 域名前)

以hadoop01节点的Mobaxterm窗口为例,输入命令 ping hadoop02 -c 3 和ping hadoop03 -c 3 并依次回车。此时因尚未配置域名映射,大概率会出现"请求找不到主机"或"100% packet loss"提示,该结果为正常现象,后续配置域名后需再次验证。

步骤21:修改虚拟机域名映射文件

分别在hadoop01、hadoop02、hadoop03的Mobaxterm命令行中,输入命令 sudo vi /etc/hosts 并回车,输入root密码后进入vi编辑器。按i键进入编辑模式,在每个节点的hosts文件中添加/修改以下内容:

|----------------------------------------------------------------------------------------------------|
| text 192.168.20.201 hadoop 192.168.20.201 hadoop01 192.168.20.202 hadoop02 192.168.20.203 hadoop03 |

添加完成后,按Esc键退出编辑模式,输入:wq 并回车保存退出。

步骤22:再次测试节点间连通性(配置域名后)

再次在hadoop01节点的Mobaxterm命令行中,输入命令 ping hadoop02 -c 3 和 ping hadoop03 -c 3 并依次回车。此时应能正常接收数据包,无丢包现象,说明三个虚拟机节点间的域名映射配置生效。

步骤23:本机CMD测试虚拟机域名连通性(未配置本机映射前)

回到本机Windows系统,打开CMD窗口(无需管理员权限),输入命令 ping hadoop01 并回车。此时因尚未配置本机域名映射,大概率会出现"请求找不到主机hadoop01"提示,后续配置本机hosts文件后需验证。

步骤24:修改本机hosts文件

在本机Windows系统中,导航至路径 C:\Windows\System32\drivers\etc,找到hosts文件。右键点击hosts文件,选择"用记事本打开";若提示权限不足,可先将hosts文件复制到桌面,用记事本打开桌面副本进行编辑。在hosts文件末尾添加以下内容:

|------------------------------|
| text 192.168.20.201 hadoop01 |

编辑完成后保存文件,若修改的是桌面副本,需将修改后的hosts文件复制回原路径并覆盖原文件(若提示权限不足,右键点击记事本选择"以管理员身份运行"后重新操作)。

步骤25:本机CMD再次测试虚拟机域名连通性

回到本机CMD窗口,再次输入命令 ping hadoop01 并回车。若能正常接收数据包,无丢包现象,且IP与配置的相同,说明本机与虚拟机hadoop01节点的域名映射配置生效。

三、部署验证与注意事项

1. 核心验证要点

  • 三个虚拟机IP修改后,通过 ip a 命令确认各自静态IP(201、202、203)均生效,且与配置一致;
  • 三个虚拟机通过本地命令行和Mobaxterm均能ping通外网(www.baidu.com),确保外网连通性;
  • 配置域名映射后,虚拟机节点间(如hadoop01 ping hadoop02、hadoop03)均能通过域名正常ping通,无丢包;
  • 修改本机hosts文件后,本机CMD能通过域名ping通hadoop01节点,确保本机与虚拟机的域名映射正常。

2. 关键注意事项

  • 步骤2中需以管理员身份启动CMD,否则可能因权限不足导致"VMware NAT Service"服务启动失败;启动前可通过 sc query "VMware NAT Service" 命令查看服务当前状态;
  • 虚拟网络配置(步骤4-8)是关键,需确保VM8子网IP为192.168.20.0、网关为192.168.20.2,且三个虚拟机均配置为NAT模式,否则会导致网络不通;
  • 修改虚拟机IP和hosts文件时,需仔细核对IP地址和域名的对应关系,三个节点的IP需互不相同且处于192.168.20网段,避免输入错误;
相关推荐
acrelwwj1 小时前
智慧照明新引擎,ASL600 4GWJ开启城市照明精细化管理新时代
大数据·经验分享·物联网
2501_943695331 小时前
高职大数据技术专业,怎么参与开源数据分析项目积累经验?
大数据·数据分析·开源
Dxy12393102162 小时前
别再让 ES 把你拖垮!5 个实战技巧让搜索性能提升 10 倍
大数据·elasticsearch·搜索引擎
2501_943695333 小时前
大专市场调查与统计分析专业,怎么辨别企业招聘的“画饼”岗位?
大数据
七夜zippoe3 小时前
CANN Runtime跨进程通信 共享设备上下文的IPC实现
大数据·cann
威胁猎人3 小时前
【黑产大数据】2025年全球电商业务欺诈风险研究报告
大数据
十月南城3 小时前
Hadoop基础认知——HDFS、YARN、MapReduce在现代体系中的位置与价值
hadoop·hdfs·mapreduce
L543414463 小时前
告别代码堆砌匠厂架构让你的系统吞吐量翻倍提升
大数据·人工智能·架构·自动化·rpa
证榜样呀3 小时前
2026 大专计算机专业必考证书推荐什么
大数据·前端
LLWZAI3 小时前
让朱雀AI检测无法判断的AI公众号文章,当创作者开始与算法「躲猫猫」
大数据·人工智能·深度学习