最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录

环境搭建背景

为什么不从hadoop100或者hadoop101开始,而是从hadoop102开始?

因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译,利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0,硬盘50G,手动配置ipv4,主机名:hadoop102,子网掩码:255.255.255.0,网关:192.168.88.2(以自己电脑的为准,倒数第二位会不一样),(配置好环境后再克隆其他集群信息)

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式,Vmare在NAT模式默认网关末尾为2,硬盘选大一点,内容可以调到4G、8G,如下图所示

软件选择

选择最小化安装

KOUMP

关闭 kdump(没什么用,节省时间)

系统分区

系统自动分区即可,也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

  • 一个交换分区(大小为物理内存的两倍)

  • 一个boot分区 (300MB)

  • 一个根分区 (大于10GB)

我的分区配置如下:

  • 一个home分区 /home (3GB)

  • 一个交换分区 /swap (4GB)

  • 一个boot分区 /boot (1GB)

  • 一个根分区 / (25GB)

  • 一个var分区 /var (15GB)

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的,即不能够与其他计算机共享的目录,如 /var/log/var/lock/var/run。有些目录还是可以与其他系统共享,如/var/mail/var/cache/man/var/cache/fonts/var/spool/news

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来,由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录,Hadoop 的 log 日志文件目录全部都放到 /var 目录下,所以专门给了较大的分区。如图所示:



网络和主机名

打开以太网,并记录信息

  • 记录网卡名称:ens160(也可以之后用 ifconfig 查看)

  • IP地址:192.168.88.134(以自己主机为准,倒数第二位会不一样),我们可以设置IP地址 192.168.88.x

  • 子网掩码:255.255.255.0

  • 网关一般都是IP地址最后一位换成2,即192.168.88.2

  • DNS服务器写网关就可以。

然后点击配置。如图所示:


配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器,最后保存,如图所示:

修改主机名

将主机名改成hadoop102,点击应用,当前主机名显示 hadoop102(后面就不需要再去 /etc/hostname 改了),如图所示:

创建用户

将此用户做为管理员(后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了),安装完毕后,重启虚拟机。如图所示:

安装完完全拷贝出三台机器并修改机器名称,就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客

相关推荐
南讯股份Nascent1 小时前
洽洽全域会员项目启动会圆满召开
大数据·人工智能
大郭鹏宇1 小时前
基于 LangGraph 构建智能分诊系统(一):项目概述与环境搭建
大数据·人工智能·microsoft·langchain
吳所畏惧3 小时前
宝塔面板Redis密码修改指南:SSH命令修改 vs 面板UI界面修改,哪个更靠谱?
运维·服务器·数据库·redis·缓存·ssh
DFT计算杂谈3 小时前
无 Root 权限在 Tesla K80 零门槛部署 DeepSeek 大模型
linux·服务器·网络·数据库·机器学习
维天说4 小时前
CLI-Switch 2026年3月版历史设计:Hook、TTY 隔离与 JSON 状态
java·服务器·json
Zhang~Ling4 小时前
从 fopen 到 struct file:从零开始拆解 Linux 文件 I/O
linux·运维·服务器
爱写代码的阿森4 小时前
鸿蒙三方库 | harmony-utils之PreferencesUtil首选项数据监听详解
服务器·华为·harmonyos·鸿蒙·huawei
天天爱吃肉82185 小时前
【电源拆解:跟着问答逐一认识开关适配器PCB元器件】
大数据·人工智能·python·功能测试·嵌入式硬件·汽车
爱写代码的森5 小时前
蒙三方库 | harmony-utils之FileUtil文件重命名与属性查询详解
linux·运维·服务器·华为·harmonyos·鸿蒙·huawei
Elastic 中国社区官方博客5 小时前
将你的 Grafana Kubernetes 仪表板迁移到 Elastic Observability:相同的 PromQL,30 倍更快的查询
大数据·人工智能·elasticsearch·搜索引擎·容器·kubernetes·grafana