【赫兹威客】Hadoop完全分布式克隆文件部署教程

本文档为Hadoop完全分布式部署教程,基于最新部署流程整理,核心涵盖克隆文件确认、VMware服务与网络配置、虚拟机导入与设置、IP与域名映射配置等全流程。教程结合具体操作步骤与命令说明,可完成Hadoop完全分布式环境的基础部署,确保三个虚拟机节点间互通、虚拟与本机互联及外网访问正常。所需Hadoop虚拟机克隆文件需提前下载并解压完成。

一、前期准备:克隆文件确认

提前获取Hadoop虚拟机克隆文件,确保网络通畅后完成下载。下载完成后,在本地指定文件夹中进行解压操作,解压完成后确认文件夹内文件完整(需包含核心虚拟机配置文件,如.vmx文件),记录该解压文件夹路径。因需部署三个虚拟机节点,后续需通过该解压文件分别导入三个节点。

二、Hadoop完全分布式部署步骤

步骤1:确认下载并解压好的克隆文件

导航至前期规划的解压文件夹,核对文件夹内文件完整性,重点确认是否存在虚拟机核心配置文件(如hadoop.vmx),确保克隆文件无缺失、无损坏,为后续虚拟机导入做准备。

步骤2:管理员打开CMD并启动VMware NAT Service

在本机Windows系统中,右键点击"命令提示符",选择"以管理员身份运行"。在打开的CMD窗口中,输入命令 sc start "VMware NAT Service" 并回车。执行完成后,查看命令输出结果,确认"VMware NAT Service"服务已成功运行(若提示"服务已经启动",则无需再次操作)。

步骤3:VMware导入三个虚拟机

打开VMware虚拟机软件,点击界面左上角的"文件"菜单,选择"打开"选项。在弹出的文件选择窗口中,导航至前期记录的解压文件夹路径,选中文件夹内的虚拟机核心配置文件(.vmx),点击"打开",将第一个虚拟机加载到VMware的虚拟机列表中。重复上述操作,分别加载另外两个虚拟机。

步骤4:打开VMware虚拟网络编辑器

在VMware软件界面中,点击顶部菜单栏的"编辑"选项,在下拉菜单中选择"虚拟网络编辑器",打开虚拟网络配置界面。

步骤5:点击"更改设置"

在虚拟网络编辑器界面中,点击右下角的"更改设置"按钮(若弹出权限验证窗口,点击"确定"通过验证),进入可编辑状态。

步骤6:还原默认设置

在可编辑状态的虚拟网络编辑器中,点击界面左侧的"还原默认设置"按钮,按照提示完成默认设置还原(此步骤用于清除原有网络配置残留,确保新配置生效)。

步骤7:修改VM8子网IP

在虚拟网络编辑器的网络列表中,选中"VMnet8"(对应NAT模式网络),在界面下方的"子网IP"输入框中,将原有IP修改为 192.168.20.0(注意:此处可自定义IP,需要记录,与后续网关配置匹配)。

步骤8:修改NAT网关IP并应用

在虚拟网络编辑器中,点击"NAT设置"按钮,打开NAT配置界面。在"网关IP"输入框中,将原有网关IP修改为 192.168.20.2,点击"确定"保存NAT配置。返回虚拟网络编辑器界面后,点击"应用"按钮,使子网IP和网关配置生效。

步骤9:编辑虚拟机网络设置

在VMware虚拟机列表中,选中hadoop01虚拟机,右键点击选择"编辑虚拟机设置"(或直接点击界面中的"编辑虚拟机设置"按钮),打开虚拟机硬件配置界面。

步骤10:设置网络适配器为NAT模式

在虚拟机hadoop01的硬件配置界面中,选中"网络适配器"选项,在界面右侧的"网络连接"区域,选择"NAT模式",点击"确定"保存配置。在虚拟机hadoop02和hadoop03重复步骤九、步骤十,确保hadoop01、hadoop02、hadoop03三个虚拟机均配置为NAT模式。

步骤11:开启三个虚拟机

在VMware的虚拟机列表中,依次选中hadoop01、hadoop02、hadoop03三个虚拟机,分别点击"开启此虚拟机"按钮(可同时开启多个虚拟机)。等待所有虚拟机启动完成,直至均出现登录界面。

步骤12:输入账号密码登录

分别在三个虚拟机的登录界面,输入预设的账号和密码(通常为普通用户账号:hertz,密码:hertz;若为其他账号密码,需按实际情况输入)。输入完成后确认登录,三个节点均进入虚拟机命令行界面(建议保持命令行界面,便于后续操作)。

步骤13:输入ip a查看虚拟机IP

在每个虚拟机的命令行中,输入命令 ip a 并回车,查找各虚拟机ens33网卡对应的IP地址(通常以inet开头),查看并记录当前IP,便于后续修改时对比确认。

步骤14:修改虚拟机IP和网关配置文件

分别在hadoop01、hadoop02、hadoop03三个虚拟机的命令行中,输入命令 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 并回车,输入root密码(默认密码:1)后进入vi编辑器界面。按i键进入编辑模式,根据节点需求修改以下配置项:

  • hadoop01配置:IPADDR=192.168.20.201;GATEWAY=192.168.20.2;
  • hadoop02配置:IPADDR=192.168.20.202;GATEWAY=192.168.20.2;
  • hadoop03配置:IPADDR=192.168.20.203;GATEWAY=192.168.20.2;

修改完成后,按Esc键退出编辑模式,输入 :wq 并回车,保存修改并退出vi编辑器。

步骤15:重启网络服务

分别在三个虚拟机的命令行中,输入命令 sudo systemctl restart network 并回车。等待每个节点的网络服务重启完成,若命令行无报错提示,即表示网络服务重启成功,IP和网关配置已初步生效。

步骤16:测试虚拟机外网连通性

在每个虚拟机的命令行中,输入命令 ping www.baidu.com -c 3 并回车。观察输出结果,若出现"64 bytes from XXX.XXX.XXX.XXX: icmp_seq=1 ttl=XXX time=XXms"格式的提示,说明虚拟机外网访问正常。

步骤17:使用Mobaxterm连接虚拟机

打开本机的Mobaxterm软件,点击界面左上角的"Session"按钮,在弹出的窗口中选择"SSH"选项。在"Remote host"输入框中填写目标虚拟机的IP地址(hadoop01填192.168.20.201,hadoop02填192.168.20.202,hadoop03填192.168.20.203),"Port"保持默认的22不变,点击"OK"。按照相同方法,分别创建三个虚拟机的SSH连接。

步骤18:Mobaxterm输入账号密码登录

分别打开hadoop01、hadoop02、hadoop03的Mobaxterm连接窗口,在弹出的登录窗口中,输入虚拟机的账号和密码(与步骤12一致),点击确认。若每个节点均登录成功,Mobaxterm界面将显示对应节点的命令行提示符,说明本机与三个虚拟机的连接正常。

步骤19:Mobaxterm中测试外网连通性

分别在三个虚拟机的Mobaxterm命令行中,输入命令 ping www.baidu.com -c 3 并回车。再次验证虚拟机外网访问正常,确保远程连接状态下网络通畅。

步骤20:Mobaxterm中测试节点间连通性(未配置 域名前)

以hadoop01节点的Mobaxterm窗口为例,输入命令 ping hadoop02 -c 3 和ping hadoop03 -c 3 并依次回车。此时因尚未配置域名映射,大概率会出现"请求找不到主机"或"100% packet loss"提示,该结果为正常现象,后续配置域名后需再次验证。

步骤21:修改虚拟机域名映射文件

分别在hadoop01、hadoop02、hadoop03的Mobaxterm命令行中,输入命令 sudo vi /etc/hosts 并回车,输入root密码后进入vi编辑器。按i键进入编辑模式,在每个节点的hosts文件中添加/修改以下内容:

|----------------------------------------------------------------------------------------------------|
| text 192.168.20.201 hadoop 192.168.20.201 hadoop01 192.168.20.202 hadoop02 192.168.20.203 hadoop03 |

添加完成后,按Esc键退出编辑模式,输入:wq 并回车保存退出。

步骤22:再次测试节点间连通性(配置域名后)

再次在hadoop01节点的Mobaxterm命令行中,输入命令 ping hadoop02 -c 3 和 ping hadoop03 -c 3 并依次回车。此时应能正常接收数据包,无丢包现象,说明三个虚拟机节点间的域名映射配置生效。

步骤23:本机CMD测试虚拟机域名连通性(未配置本机映射前)

回到本机Windows系统,打开CMD窗口(无需管理员权限),输入命令 ping hadoop01 并回车。此时因尚未配置本机域名映射,大概率会出现"请求找不到主机hadoop01"提示,后续配置本机hosts文件后需验证。

步骤24:修改本机hosts文件

在本机Windows系统中,导航至路径 C:\Windows\System32\drivers\etc,找到hosts文件。右键点击hosts文件,选择"用记事本打开";若提示权限不足,可先将hosts文件复制到桌面,用记事本打开桌面副本进行编辑。在hosts文件末尾添加以下内容:

|------------------------------|
| text 192.168.20.201 hadoop01 |

编辑完成后保存文件,若修改的是桌面副本,需将修改后的hosts文件复制回原路径并覆盖原文件(若提示权限不足,右键点击记事本选择"以管理员身份运行"后重新操作)。

步骤25:本机CMD再次测试虚拟机域名连通性

回到本机CMD窗口,再次输入命令 ping hadoop01 并回车。若能正常接收数据包,无丢包现象,且IP与配置的相同,说明本机与虚拟机hadoop01节点的域名映射配置生效。

三、部署验证与注意事项

1. 核心验证要点

  • 三个虚拟机IP修改后,通过 ip a 命令确认各自静态IP(201、202、203)均生效,且与配置一致;
  • 三个虚拟机通过本地命令行和Mobaxterm均能ping通外网(www.baidu.com),确保外网连通性;
  • 配置域名映射后,虚拟机节点间(如hadoop01 ping hadoop02、hadoop03)均能通过域名正常ping通,无丢包;
  • 修改本机hosts文件后,本机CMD能通过域名ping通hadoop01节点,确保本机与虚拟机的域名映射正常。

2. 关键注意事项

  • 步骤2中需以管理员身份启动CMD,否则可能因权限不足导致"VMware NAT Service"服务启动失败;启动前可通过 sc query "VMware NAT Service" 命令查看服务当前状态;
  • 虚拟网络配置(步骤4-8)是关键,需确保VM8子网IP为192.168.20.0、网关为192.168.20.2,且三个虚拟机均配置为NAT模式,否则会导致网络不通;
  • 修改虚拟机IP和hosts文件时,需仔细核对IP地址和域名的对应关系,三个节点的IP需互不相同且处于192.168.20网段,避免输入错误;
相关推荐
weixin_7042660526 分钟前
SpringMVC轻松处理JSON数据
大数据
金智维科技官方27 分钟前
APA智能流程自动化是什么?
大数据·人工智能·ai·智能体·apa
夜郎king38 分钟前
Java 实战:基于高德周边检索 API 获取耒阳童车产业园企业分布数据
大数据·gis检索·java地图实战
綮地1 小时前
ES备份脚本
大数据·elasticsearch·搜索引擎
拓端研究室2 小时前
2025-2026食品饮料行业全景洞察报告:婴童零辅食、量贩零食、东南亚出海 | 附180+份报告PDF、数据、可视化模板汇总下载
大数据·人工智能
远方16092 小时前
117-Oracle 26ai FILTER(过滤)子句新特性
大数据·数据库·sql·oracle·database
isNotNullX2 小时前
一文讲清8大数据清洗方法
大数据·数据库·数据挖掘·数据迁移
人工智能培训2 小时前
深度学习赋能千行百业:核心应用场景与发展展望
大数据·人工智能·具身智能·ai培训·人工智能工程师
Francek Chen2 小时前
【大数据存储与管理】分布式数据库HBase:05 HBase运行机制
大数据·数据库·hadoop·分布式·hdfs·hbase
LJ97951113 小时前
当AI遇上媒体发布:企业传播的下一站
大数据·人工智能