hadoop-3.3.5安装过程

准备资源三台虚拟机:

1)准备3台服务器(关闭防火墙、静态IP、主机名称)

2)安装JDK

3)配置环境变量

4)安装Hadoop

5)配置环境变量

安装虚拟机(略)--1台即可,执行完毕下述内容,再克隆2台。

虚拟机准备完毕,开始安装------

1-通过yum安装epel-release

root@kk \~\]# yum install -y epel-release

注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作

Ø net-tool:工具包集合,包含ifconfig等命令,vim:编辑器

root@kk \~\]# yum install -y net-tools \[root@kk \~\]#yum install -y vim

2-关闭防火墙,关闭防火墙开机自启

root@kk \~\]# systemctl stop firewalld \[root@kk \~\]# systemctl disable firewalld.service

3-创建other用户,并修改other用户的密码

root@kk \~\]# useradd others \[root@kk \~\]# passwd others

4-配置others用户具有root权限,方便后期加sudo执行root权限的命令

root@kk \~\]# vim /etc/sudoers 修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示: %wheel ALL=(ALL) ALL others ALL=(ALL) NOPASSWD:ALL

5-在**/opt目录下创建文件夹,并修改所属主和所属组**

(1)在/opt目录下创建module、software文件夹

root@kk \~\]# mkdir /opt/{module,sofeware} (2)修改module、software文件夹的所有者和所属组均为others用户 \[root@kk \~\]# chown others:others /opt/module \[root@kk \~\]# chown others:others /opt/software (3)查看module、software文件夹的所有者和所属组 \[root@kk \~\]# cd /opt/ \[root@kk opt\]# ll

6- 卸载**虚拟机自带的JDK**

注意:如果你的虚拟机是最小化安装不需要执行这一步。

root@kk \~\]# rpm -qa \| grep -i java \| xargs -n1 rpm -e --nodeps Ø rpm -qa:查询所安装的所有rpm软件包 Ø grep -i:忽略大小写 Ø xargs -n1:表示每次只传递一个参数 Ø rpm -e --nodeps:强制卸载软件

**7-**重启虚拟机

root@kk \~\]# reboot #### 8-使用固定IP 1)查看自己主机的IP地址网段和DNS--这一步在自己电脑的网络属性中查看即可 2)修改静态的IP地址 > \[root@kk \~\]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 > > 改成 > > BOOTPROTO=static > > IPADDR=192.168.193.170 > > GATEWAY=192.168.193.2 > > DNS1=192.168.193.2 > > DNS2=8.8.8.8 > > 另外两台的IP地址也如此修改 分别为:192.168.193.176、192.168.193.177 > > 每个人的都不同,自己设置即可。 #### **9-修改主机名,以下以****kk 为例子** > \[root@kk \~\]# vim /etc/hostname > > **hadoop1** > > 配置Linux主机名称映射hosts文件,打开/etc/hosts > > \[root@hadoop1 \~\]# vim /etc/hosts > > 192.168.193.170 hadoop1 > > 192.168.193.176 hadoop2 > > 192.168.193.177 hadoop3 > > **重启**hadoop1 > > \[root@kk \~\]# reboot #### 10-**将****JDK和hadoop 3.3.5****导入到****opt****目录下面的****software****文件夹下面** > JDK需要到oracle 官方下载- > > [Java Downloads \| Oracle](https://www.oracle.com/java/technologies/downloads/#graalvmjava20 "Java Downloads | Oracle") > > 这里本人下载了 (jdk-8u391-linux-x64.tar.gz) > > hadoop3.3.5 版本比较稳定,也到官方下载 > > https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz ![](https://file.jishuzhan.net/article/1733130603475243010/c8489b0fa778e11fec993bd10bdf3f52.webp) ![](https://file.jishuzhan.net/article/1733130603475243010/9c67c2d6b85fcd8b81014f3283880d6f.webp)查看软件包下面已经上传好的软件包 > \[root@hadoop1 software\]$ ls > hadoop-3.3.5.tar.gz jdk-8u391-linux-x64.tar.gz #### 11-切换为配置的others 用户来做其他的操作 > \[root@hadoop1 software\]$ su others > > \[others@hadoop1 software\]$ tar -zxvf jdk-8u391-linux-x64.tar.gz -C /opt/module > > \[others@hadoop1 software\]$ tar -zxvf hadoop-3.3.5.tar.gz -C /opt/module #### 12-配置环境变量 > \[others@hadoop1 hadoop-3.3.5\]$ sudo vim /etc/profile.d/my_env.sh > > #JAVA_HOME > > export JAVA_HOME=/opt/module/jdk1.8.0_371 > > export PATH=$PATH:$JAVA_HOME/bin > > #HADOOP_HOME > > export HADOOP_HOME=/opt/module/hadoop-3.3.5 > > export PATH=$PATH:$HADOOP_HOME/bin > > export PATH=$PATH:$HADOOP_HOME/sbin > > 配置完毕,需要进行source ,之后配置文件才会生效 > > \[others@hadoop1 hadoop-3.3.5\]$ source /etc/profile > > 若还有问题,直接进行下重启-\[others@hadoop1 hadoop-3.3.5\]$ sudo reboot > > 之后进入系统查询 java -version 和 hadoop version > > 可用后表示已经成功配置。 #### 13-hadoop 文件夹重要目录说明 [others@hadoop2 hadoop-3.3.5]$ ll total 116 drwxr-xr-x. 2 others others 4096 Mar 16 2023 bin drwxr-xr-x. 3 others others4096 Mar 15 2023 etc drwxr-xr-x. 2 others others 4096 Mar 16 2023 include drwxr-xr-x. 3 others others 4096 Mar 16 2023 lib drwxr-xr-x. 4 others others 4096 Mar 16 2023 libexec -rw-rw-r--. 1 others others 24496 Feb 25 2023 LICENSE-binary drwxr-xr-x. 2 others others 4096 Mar 16 2023 licenses-binary -rw-rw-r--. 1 others others 15217 Jul 17 2022 LICENSE.txt -rw-rw-r--. 1 others others 29473 Jul 17 2022 NOTICE-binary -rw-rw-r--. 1 others others 1541 Apr 22 2022 NOTICE.txt -rw-rw-r--. 1 others others 175 Apr 22 2022 README.txt drwxr-xr-x. 3 others others 4096 Mar 15 2023 sbin drwxr-xr-x. 4 others others 4096 Mar 16 2023 share drwxrwxr-x. 2 others others 4096 Dec 1 14:24 wcinput > (1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本 > > (2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件 > > (3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能) > > (4)sbin目录:存放启动或停止Hadoop相关服务的脚本 > > (5)share目录:存放Hadoop的依赖jar包、文档、和官方案例 > Hadoop官方网站:[https://hadoop.apache.org/](http://hadoop.apache.org/ "https://hadoop.apache.org/") > > https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/SingleCluster.html > > 2)Hadoop运行模式包括:**本地模式**、**伪分布式模式**以及**完全分布式模式**。 > > **Ø****本地模式**:单机运行,只是用来演示一下官方案例。生产环境不用。 > > **Ø****伪分布式模式:**也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。 > > **Ø****完全分布式模式:**多台服务器组成分布式环境。生产环境使用。 #### 14-克隆已经部署好的这台资源,修改克隆机的hostname即可。 > \[root@hadoop1 \~\]# vim /etc/hostname > > hadoop2 > > 另外一台修改为 hadoop3 即可。 以上就是hadoop 的部署。

相关推荐
老周聊架构2 分钟前
大数据领域开山鼻祖组件Hadoop核心架构设计
大数据
TDengine (老段)5 小时前
TDengine 使用最佳实践(2)
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
Deng9452013146 小时前
基于大数据的电力系统故障诊断技术研究
大数据·matplotlib·深度特征提取·随机森林分类算法·标签编码
C182981825758 小时前
分布式ID 与自增区别
分布式
小菜鸡06269 小时前
FlinkSQL通解
大数据·flink
寅鸷10 小时前
es里为什么node和shard不是一对一的关系
大数据·elasticsearch
码字的字节11 小时前
深入解析Hadoop RPC:技术细节与推广应用
hadoop·rpc
码字的字节11 小时前
深入解析Hadoop架构设计:原理、组件与应用
大数据·hadoop·分布式·hadoop架构设计
阿里云大数据AI技术13 小时前
云上AI推理平台全掌握 (3):服务接入与全球调度
大数据·人工智能·深度学习
时序数据说14 小时前
如何选择时序数据库:关键因素与实用指南
大数据·数据库·物联网·时序数据库·iotdb