最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录

环境搭建背景

为什么不从hadoop100或者hadoop101开始,而是从hadoop102开始?

因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译,利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0,硬盘50G,手动配置ipv4,主机名:hadoop102,子网掩码:255.255.255.0,网关:192.168.88.2(以自己电脑的为准,倒数第二位会不一样),(配置好环境后再克隆其他集群信息)

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式,Vmare在NAT模式默认网关末尾为2,硬盘选大一点,内容可以调到4G、8G,如下图所示

软件选择

选择最小化安装

KOUMP

关闭 kdump(没什么用,节省时间)

系统分区

系统自动分区即可,也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

  • 一个交换分区(大小为物理内存的两倍)

  • 一个boot分区 (300MB)

  • 一个根分区 (大于10GB)

我的分区配置如下:

  • 一个home分区 /home (3GB)

  • 一个交换分区 /swap (4GB)

  • 一个boot分区 /boot (1GB)

  • 一个根分区 / (25GB)

  • 一个var分区 /var (15GB)

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的,即不能够与其他计算机共享的目录,如 /var/log/var/lock/var/run。有些目录还是可以与其他系统共享,如/var/mail/var/cache/man/var/cache/fonts/var/spool/news

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来,由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录,Hadoop 的 log 日志文件目录全部都放到 /var 目录下,所以专门给了较大的分区。如图所示:



网络和主机名

打开以太网,并记录信息

  • 记录网卡名称:ens160(也可以之后用 ifconfig 查看)

  • IP地址:192.168.88.134(以自己主机为准,倒数第二位会不一样),我们可以设置IP地址 192.168.88.x

  • 子网掩码:255.255.255.0

  • 网关一般都是IP地址最后一位换成2,即192.168.88.2

  • DNS服务器写网关就可以。

然后点击配置。如图所示:


配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器,最后保存,如图所示:

修改主机名

将主机名改成hadoop102,点击应用,当前主机名显示 hadoop102(后面就不需要再去 /etc/hostname 改了),如图所示:

创建用户

将此用户做为管理员(后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了),安装完毕后,重启虚拟机。如图所示:

安装完完全拷贝出三台机器并修改机器名称,就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客

相关推荐
武子康1 分钟前
大数据-126 - Flink一文搞懂有状态计算:State Backend 工作原理与性能差异详解 核心原理与作用
大数据·后端·flink
YangYang9YangYan5 分钟前
金融分析师核心能力构建:从数据解读到战略洞察
大数据·信息可视化·金融·数据分析
是良辰18 分钟前
Linux 服务器NFS文件共享
运维·服务器
沐浴露z27 分钟前
【深入理解计算机网络11】应用层详解:DNS,WWW,HTTP
服务器·网络协议·计算机网络·http
迎風吹頭髮29 分钟前
Linux服务器编程实践22-TCP头部选项解析:MSS、窗口扩大因子与SACK
服务器·网络·tcp/ip
Net_Walke31 分钟前
【Linux系统】系统编程
linux·运维·服务器
BEOL贝尔科技33 分钟前
不稳定的冰箱如何做权限管理?冰箱锁加入远程管理功能后生物保存工作发生了哪些变化?
大数据·人工智能
啊吧怪不啊吧41 分钟前
初识SQL
服务器·数据库·sql
一个java开发1 小时前
spark热点key导致的数据倾斜复现和加盐处理
大数据·spark
IT研究室1 小时前
大数据毕业设计选题推荐-基于大数据的商店购物趋势分析与可视化系统-大数据-Spark-Hadoop-Bigdata
大数据·spark·课程设计