八、安装 Hadoop

安装 Hadoop

(1)将 Hadoop 软件包上传到虚拟机的 /opt/software 目录中
  • Apache 官方镜像站地址:
md-end-block 复制代码
https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/

可直接用命令下载到对应的目录文件夹中:

md-end-block 复制代码
sudo wget -P /opt/software https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
  • 阿里云镜像地址:
md-end-block 复制代码
https://mirrors.aliyun.com/apache/hadoop/common
  • 清华源镜像地址:
md-end-block 复制代码
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
(2)在 /opt/software 目录中查看软件包是否导入成功
md-end-block 复制代码
ls -al /opt/software
(3)将 Hadoop 软件包解压到 /opt/module 目录下
md-end-block 复制代码
tar -zxvf /opt/software/hadoop-3.2.1.tar.gz -C /opt/module
(4)确认解压是否成功
md-end-block 复制代码
ls -al /opt/module
(5)配置 Hadoop 环境变量
bash 复制代码
vim /etc/profile.d/my_env.sh
  • 在 my_env.sh 文本末尾添加如下内容(Shift+G):
bash 复制代码
# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  • 让新的环境变量PATH生效:
bash 复制代码
source /etc/profile
(6)测试 Hadoop 是否安装成功
bash 复制代码
hadoop version
相关推荐
得物技术1 小时前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康3 小时前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康1 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天1 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
武子康3 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
初次攀爬者4 天前
ZooKeeper 实现分布式锁的两种方式
分布式·后端·zookeeper
武子康4 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
DianSan_ERP5 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库5 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全
AI周红伟5 天前
周红伟:智能体全栈构建实操:OpenClaw部署+Agent Skills+Seedance+RAG从入门到实战
大数据·人工智能·大模型·智能体