副队长大数据教程(5)--集群情况下虚拟机网络配置

文章目录

  • [1. 引言](#1. 引言)
  • [2. 三种虚拟机网络模式对比,为什么优先选 NAT](#2. 三种虚拟机网络模式对比,为什么优先选 NAT)
    • [2.1 桥接模式(不推荐新手搭建 Hadoop)](#2.1 桥接模式(不推荐新手搭建 Hadoop))
    • [2.2 仅主机模式 Host-Only(只适合离线测试)](#2.2 仅主机模式 Host-Only(只适合离线测试))
    • [2.3 NAT 模式(Hadoop 虚拟机集群首选)](#2.3 NAT 模式(Hadoop 虚拟机集群首选))
  • [3. NAT 模式静态 IP 完整实操步骤](#3. NAT 模式静态 IP 完整实操步骤)
    • [3.1 VMware 宿主机配置虚拟网络编辑器(仅操作一次)](#3.1 VMware 宿主机配置虚拟网络编辑器(仅操作一次))
    • [3.2 修改虚拟机网络适配器](#3.2 修改虚拟机网络适配器)
    • [3.3 Linux 内部配置网卡静态 IP](#3.3 Linux 内部配置网卡静态 IP)
  • [4. 小结](#4. 小结)

1. 引言

搭建 Hadoop 完全分布式集群,网络是最基础也最容易踩坑的前置环节。很多初学者上来直接选用桥接模式,后续频繁遇到 IP 变动、IP 冲突、集群通信异常等问题。

在虚拟机学习环境中,NAT 模式是搭建 Hadoop 集群的最优选择。本文先分析选型理由,再给出完整可落地的静态 IP 配置步骤。

2. 三种虚拟机网络模式对比,为什么优先选 NAT

VMware 提供三种常用虚拟机网络:NAT、桥接、仅主机模式,三者特性差异很大,结合 Hadoop 集群的需求来分析。

2.1 桥接模式(不推荐新手搭建 Hadoop)

桥接模式会让虚拟机等同于局域网内一台独立物理主机,虚拟机 IP 由路由器 DHCP 分配,和宿主机处于同一个网段。

优点:局域网内其他电脑可以直接访问虚拟机。

缺点:

  1. 宿主机切换网络环境(笔记本从家里 WiFi 切到公司网络),路由器网段发生变化,虚拟机 IP 全部失效,hosts 映射、Hadoop 配置全部要改。
  2. 容易出现 IP 地址冲突,一旦局域网内其他设备占用该 IP,集群节点网络直接中断。
  3. 路由器 DHCP 默认动态分配 IP,不做额外配置的话,重启虚拟机 IP 就会改变。

2.2 仅主机模式 Host-Only(只适合离线测试)

仅主机模式,虚拟机只能和宿主机、同网段虚拟机互相通信,默认无法访问外网

优点:网络隔离,不受外部网络干扰。

缺点:无法联网下载 JDK、Hadoop、各种依赖包,搭建大数据集群前期软件安装非常麻烦,仅适合完全离线的安全演练场景。

2.3 NAT 模式(Hadoop 虚拟机集群首选)

NAT 全称网络地址转换,VMware 虚拟出独立的 VMnet8 虚拟网卡网段,宿主机作为网关。

✅ 适合 Hadoop 集群的核心理由:

  1. 网段独立,不受外部路由器影响
    虚拟机网段由 VMware 单独管理,宿主机切换 WiFi / 网线,VMnet8 网段不会改变。只要静态 IP 配置完成,集群 IP 永久不变,/etc/hosts、Hadoop 所有配置不需要反复修改。
  2. 虚拟机之间互通,同时支持外网访问
    所有节点之间可以互相 ping、SSH 通信,满足 HDFS、YARN 内部节点心跳通信;同时虚拟机可以访问互联网,方便下载安装包。
  3. IP 冲突风险低
    网段是 VMware 内部虚拟网段,不和家里路由器下设备共用地址,几乎不会和局域网其他设备产生 IP 冲突。
  4. 安全隔离
    外部局域网设备不能主动访问虚拟机,避免外部机器扫描、干扰集群,学习环境足够安全。

NAT 的唯一短板:局域网其他物理电脑无法主动访问虚拟机。对于本地学习、上机实验场景,这个缺点完全可以忽略。

3. NAT 模式静态 IP 完整实操步骤

环境:VMware + CentOS7,3 节点集群 hadoop01、hadoop02、hadoop03

规划网段:192.168.137.0/24

网关:192.168.137.2

hadoop01:192.168.137.101

hadoop02:192.168.137.102

hadoop03:192.168.137.103

3.1 VMware 宿主机配置虚拟网络编辑器(仅操作一次)

  1. 关闭所有虚拟机,右键 VMware,以管理员身份运行,否则虚拟网络配置无法保存。
  2. 顶部菜单:编辑虚拟网络编辑器
  3. 选中VMnet8 (NAT模式)取消勾选【使用本地 DHCP 服务将 IP 地址分配给虚拟机】,关闭自动分配 IP。
  4. 设置子网 IP:192.168.137.0,子网掩码255.255.255.0
  5. 点击【NAT 设置】,网关 IP 填写192.168.137.2,记住网关,保存退出。
  6. 点击【应用】→【确定】。

3.2 修改虚拟机网络适配器

选中虚拟机 → 右键【设置】→【网络适配器】

网络连接选择:NAT 模式 (VMnet8) ,勾选「启动时连接」。

三台虚拟机全部改成 NAT 模式。

3.3 Linux 内部配置网卡静态 IP

  1. 查看网卡名称

    ip a

一般网卡名为ens33

  1. 编辑网卡配置文件

    vi /etc/sysconfig/network-scripts/ifcfg-ens33

hadoop01 完整模板,注意要完全按照这个改,原来的内容都删了。

复制代码
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.137.101
NETMASK=255.255.255.0
GATEWAY=192.168.137.2
DNS1=8.8.8.8
DNS2=114.114.114.114

hadoop02 修改 IPADDR=192.168.137.102;hadoop03 改为 192.168.137.103,其余内容不变。

  1. 重启网卡生效

    systemctl restart network

  2. 验证网络连通性

    ip a
    ping www.baidu.com

4. 小结

在本地虚拟机搭建 Hadoop 学习集群,NAT 模式是综合最优方案。它可以做到网段稳定、内外网同时可用,不受宿主机网络切换影响,极大降低集群 IP 变动带来的配置返工。

相关推荐
自由能燃气设备3 小时前
商用全预混低氮冷凝锅炉免费方案vs付费方案对比+选型避坑指南
大数据·数据库·人工智能
科创致远4 小时前
科创致远 ESOP 系统核心效能与实战价值展示
大数据·数据库·人工智能·精益工程
嘉立创FPC苗工4 小时前
FPC与机器人的双向赋能,解锁智能装备进化新势能
大数据·人工智能·制造·fpc·电路板
AI职业加油站4 小时前
AI智能体应用工程师证书:政策红利下的职业新风口
大数据·运维·人工智能·学习·职场发展
龙亘川4 小时前
一网统管AI平台民生业务实践:基于城市数字底座赋能公积金业务服务升级
大数据·安全·智慧城市·开源软件·数据可视化·政务
码流子5 小时前
高速公路安全监测实践:碰撞监测预警+物联网底座,从感知到处置的闭环
大数据·人工智能·物联网·算法·架构
2601_955662465 小时前
短剧多人对白怎么配?2026年多角色配音工具对比
大数据·人工智能·音视频·语音识别
2601_962218615 小时前
万象生鲜系统称重自动多退少补算法解决生鲜非标品痛点
大数据·数据库·人工智能·python·算法
其实防守也摸鱼6 小时前
内网穿透与反向代理:原理、工具与实战指南
android·大数据·运维·安全·网络安全·自动化·渗透