副队长大数据教程(5)--集群情况下虚拟机网络配置

文章目录

  • [1. 引言](#1. 引言)
  • [2. 三种虚拟机网络模式对比,为什么优先选 NAT](#2. 三种虚拟机网络模式对比,为什么优先选 NAT)
    • [2.1 桥接模式(不推荐新手搭建 Hadoop)](#2.1 桥接模式(不推荐新手搭建 Hadoop))
    • [2.2 仅主机模式 Host-Only(只适合离线测试)](#2.2 仅主机模式 Host-Only(只适合离线测试))
    • [2.3 NAT 模式(Hadoop 虚拟机集群首选)](#2.3 NAT 模式(Hadoop 虚拟机集群首选))
  • [3. NAT 模式静态 IP 完整实操步骤](#3. NAT 模式静态 IP 完整实操步骤)
    • [3.1 VMware 宿主机配置虚拟网络编辑器(仅操作一次)](#3.1 VMware 宿主机配置虚拟网络编辑器(仅操作一次))
    • [3.2 修改虚拟机网络适配器](#3.2 修改虚拟机网络适配器)
    • [3.3 Linux 内部配置网卡静态 IP](#3.3 Linux 内部配置网卡静态 IP)
  • [4. 小结](#4. 小结)

1. 引言

搭建 Hadoop 完全分布式集群,网络是最基础也最容易踩坑的前置环节。很多初学者上来直接选用桥接模式,后续频繁遇到 IP 变动、IP 冲突、集群通信异常等问题。

在虚拟机学习环境中,NAT 模式是搭建 Hadoop 集群的最优选择。本文先分析选型理由,再给出完整可落地的静态 IP 配置步骤。

2. 三种虚拟机网络模式对比,为什么优先选 NAT

VMware 提供三种常用虚拟机网络:NAT、桥接、仅主机模式,三者特性差异很大,结合 Hadoop 集群的需求来分析。

2.1 桥接模式(不推荐新手搭建 Hadoop)

桥接模式会让虚拟机等同于局域网内一台独立物理主机,虚拟机 IP 由路由器 DHCP 分配,和宿主机处于同一个网段。

优点:局域网内其他电脑可以直接访问虚拟机。

缺点:

  1. 宿主机切换网络环境(笔记本从家里 WiFi 切到公司网络),路由器网段发生变化,虚拟机 IP 全部失效,hosts 映射、Hadoop 配置全部要改。
  2. 容易出现 IP 地址冲突,一旦局域网内其他设备占用该 IP,集群节点网络直接中断。
  3. 路由器 DHCP 默认动态分配 IP,不做额外配置的话,重启虚拟机 IP 就会改变。

2.2 仅主机模式 Host-Only(只适合离线测试)

仅主机模式,虚拟机只能和宿主机、同网段虚拟机互相通信,默认无法访问外网 。

优点:网络隔离,不受外部网络干扰。

缺点:无法联网下载 JDK、Hadoop、各种依赖包,搭建大数据集群前期软件安装非常麻烦,仅适合完全离线的安全演练场景。

2.3 NAT 模式(Hadoop 虚拟机集群首选)

NAT 全称网络地址转换,VMware 虚拟出独立的 VMnet8 虚拟网卡网段,宿主机作为网关。

✅ 适合 Hadoop 集群的核心理由:

  1. 网段独立,不受外部路由器影响
    虚拟机网段由 VMware 单独管理,宿主机切换 WiFi / 网线,VMnet8 网段不会改变。只要静态 IP 配置完成,集群 IP 永久不变,/etc/hosts、Hadoop 所有配置不需要反复修改。
  2. 虚拟机之间互通,同时支持外网访问
    所有节点之间可以互相 ping、SSH 通信,满足 HDFS、YARN 内部节点心跳通信;同时虚拟机可以访问互联网,方便下载安装包。
  3. IP 冲突风险低
    网段是 VMware 内部虚拟网段,不和家里路由器下设备共用地址,几乎不会和局域网其他设备产生 IP 冲突。
  4. 安全隔离
    外部局域网设备不能主动访问虚拟机,避免外部机器扫描、干扰集群,学习环境足够安全。

NAT 的唯一短板:局域网其他物理电脑无法主动访问虚拟机。对于本地学习、上机实验场景,这个缺点完全可以忽略。

3. NAT 模式静态 IP 完整实操步骤

环境:VMware + CentOS7,3 节点集群 hadoop01、hadoop02、hadoop03

规划网段:192.168.137.0/24

网关:192.168.137.2

hadoop01:192.168.137.101

hadoop02:192.168.137.102

hadoop03:192.168.137.103

3.1 VMware 宿主机配置虚拟网络编辑器(仅操作一次)

  1. 关闭所有虚拟机,右键 VMware,以管理员身份运行,否则虚拟网络配置无法保存。
  2. 顶部菜单:编辑 → 虚拟网络编辑器。
  3. 选中VMnet8 (NAT模式),取消勾选【使用本地 DHCP 服务将 IP 地址分配给虚拟机】,关闭自动分配 IP。
  4. 设置子网 IP:192.168.137.0,子网掩码255.255.255.0。
  5. 点击【NAT 设置】,网关 IP 填写192.168.137.2,记住网关,保存退出。
  6. 点击【应用】→【确定】。

3.2 修改虚拟机网络适配器

选中虚拟机 → 右键【设置】→【网络适配器】

网络连接选择:NAT 模式 (VMnet8) ,勾选「启动时连接」。

三台虚拟机全部改成 NAT 模式。

3.3 Linux 内部配置网卡静态 IP

  1. 查看网卡名称

    ip a

一般网卡名为ens33。

  1. 编辑网卡配置文件

    vi /etc/sysconfig/network-scripts/ifcfg-ens33

hadoop01 完整模板,注意要完全按照这个改,原来的内容都删了。

复制代码
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.137.101
NETMASK=255.255.255.0
GATEWAY=192.168.137.2
DNS1=8.8.8.8
DNS2=114.114.114.114

hadoop02 修改 IPADDR=192.168.137.102;hadoop03 改为 192.168.137.103,其余内容不变。

  1. 重启网卡生效

    systemctl restart network

  2. 验证网络连通性

    ip a
    ping www.baidu.com

4. 小结

在本地虚拟机搭建 Hadoop 学习集群,NAT 模式是综合最优方案。它可以做到网段稳定、内外网同时可用,不受宿主机网络切换影响,极大降低集群 IP 变动带来的配置返工。

相关推荐
计算机编程指导师10 小时前
【计算机毕设】基于Hadoop+Spark的美国互联网银行贷款数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·spark·毕业设计·贷款
data analyse 45611 小时前
服务端访问日志聚合 PV 与 UV 怎么实现?日志采集与口径设计
大数据·前端·数据分析
ZZ2026011511 小时前
维普露禾平台免费开放,聊聊教育垂直大模型的RAG实现思路
大数据·人工智能·系统架构·知识图谱
小猴子爱上树11 小时前
跨境电商AI图片翻译工具:批量图片翻译、视频字幕翻译与智能抠图一站式解决
大数据·人工智能·python·音视频
七十二时95611 小时前
2026 企业级 AI 办公平台选型指南:如何判断哪些 AI 满足企业办公需求
大数据·人工智能
康实训12 小时前
CGA老年综合评估是什么?评估体系、核心维度与行业应用标准解析
大数据·人工智能·实训室·实训室建设
SelectDB12 小时前
Doris VARIANT 速查:类型映射、建表写法、索引配置与常见注意点
大数据·数据库·数据分析
计算机编程指导师12 小时前
计算机毕设选题推荐:基于Spark+Django的黄金价格历史数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·python·计算机·spark·django·课程设计·黄金价格
weixin_4604435613 小时前
在线考试人脸识别如何合规?本地活体检测、人脸模板加密与替代认证的技术架构设计
大数据·数据库·煤矿培训考试系统·煤矿在线考试系统·煤矿安全培训·煤矿考试系统
计算机编程指导师13 小时前
计算机毕设怎么做?基于Spark+Django的股票数据分析与可视化系统实战指导 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·python·spark·django·毕业设计·股票·课程设计