hadoop部署前置准备

基于linux系统运行 此文档开始前 请先准备好linux系统 (虚拟机,服务器配置均可)以三台为例

此文档基于linux三台虚拟机完成 使用finallshell ssh隧道连接

三台分别为

  • hadoop1:172.16.2.133
  • hadoop2:172.16.2.134
  • hadoop3:172.16.2.135

系统:CentOS Stream9 aarch64(ARM)

步骤一 配置三台主机名

linux指令如下

zsh 复制代码
# hadoop1执行
hostnamectl set-hostname hadoop1
# node02执行
hostnamectl set-hostname hadoop2
# node03执行
hostnamectl set-hostname hadoop3

hosts解析

三台修改 /etc/hosts 文件

追加以下三行

zsh 复制代码
172.16.2.133 hadoop1
172.16.2.134 hadoop2 
172.16.2.135 hadoop3

步骤二 hadoop1 配置ssh登录

仅在hadoop1置行

zsh 复制代码
# 生成密钥,一路回车 
ssh-keygen -t rsa 
# 把公钥分发到3台机器(包含自己) 
ssh-copy-id hadoop1 
ssh-copy-id hadoop2 
ssh-copy-id hadoop3

测试 :ssh hadoop2 ,可正常切换

步骤三 安装jdk

第一 分别在三台机器下 安装 一下文件夹作为约定

创建存放数据的目录

复制代码
mkdir -p /export/data/

创建存放安装程序的目录

复制代码
mkdir -p /export/servers/

创建存放安装包的目录

复制代码
mkdir -p /export/software/

第二 下载jdk安装包 这里以jdk 21 为例

下载链接

https://www.oracle.com/java/technologies/downloads/#java21

将下载的压缩包存放到 /export/servers 下

通过命令 进行解压 (要注意替换命令中文件位置 压缩包名称 以及压缩位置)

复制代码
tar -zxvf /opt/software/jdk-8uXXX-linux-aarch64.tar.gz -C /opt/module/

第三 进行环境变量配置

创建此文件

/etc/profile.d/my_env.sh

打开写入 配置文件 (注意解压后安装包路径及文件名称 如上图为jdk-21.0.12.1)

复制代码
export JAVA_HOME=/opt/module/jdk1.8.0_xxx 
export PATH=$PATH:$JAVA_HOME/bin

第四 刷新配置文件 让配置生效

复制代码
source /etc/profile.d/my_env.sh 

验证

复制代码
java -version

如图即为生效

第五 使用scp 进行 分发

三台主机名:hadoop1 hadoop2 hadoop3

JDK 目录示例:/export/servers/jdk-21.0.12.1,换成自己真实的文件夹名

把 hadoop1 的 jdk 目录传到 hadoop2

复制代码
scp -r /export/servers/jdk-21.0.12.1 root@hadoop2:/export/servers/

传到 hadoop3

复制代码
scp -r /export/servers/jdk-21.0.12.1 root@hadoop3:/export/servers/
  • -r:递归,用来拷贝文件夹(拷贝文件夹必须加 - r)

分发环境变量文件 my_env.sh

复制代码
scp /etc/profile.d/my_env.sh root@hadoop2:/etc/profile.d/
scp /etc/profile.d/my_env.sh root@hadoop3:/etc/profile.d/

scp 简单说明

复制代码
scp 源文件 目标用户@目标主机:目标路径
  • 拷贝文件 :不用 -r
  • 拷贝文件夹 :必须 -r
相关推荐
演艺大赏19 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19901 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏2 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏2 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Francek Chen13 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠16 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria17 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN17 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习
测试盐18 天前
spark作业日志定位过程
java·hadoop·spark
NiceZack19 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos