安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

前言

Hadoop包括三种安装模式:

  1. 单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统HDFS;
  2. 伪分布式模式:存储采用分布式文件系统HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上;
  3. 分布式模式:存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。

这篇笔记适合于原生 Hadoop3.1.3 ,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop 。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。此外,小北希望友友们能多去了解一些 Linux 的知识,以后出现问题时才能自行解决。

为了方便学习,请友友们利用Linux系统中自带的firefox浏览器打开本指南进行学习。

Hadoop安装文件,可以到Hadoop官网下载hadoop-3.1.3.tar.gz。

也可以直接点击这里从百度云盘下载软件(提取码:ziyu),进入百度网盘后,进入"软件"目录,找到hadoop-3.1.3.tar.gz文件下载到本地。

可以参考小北之前的两篇博客哇~

Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3------备赛笔记------2024全国职业院校技能大赛"大数据应用开发"赛项------任务2:离线数据处理-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135236893?spm=1001.2014.3001.5501Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3------备赛笔记------2024全国职业院校技能大赛"大数据应用开发"赛项------任务2:离线数据处理-CSDN博客https://blog.csdn.net/Zhiyilang/article/details/135276305?spm=1001.2014.3001.5501

本章中小北只讲了前面两种"单机"和"伪分布式",第三种"分布式"打算后续单独写一篇,因为这个也是搭建HADOOP的集群了,所以希望这些也能帮助到友友们~

一、下载安装文件

前提: 下载好hadoop的3.1.3的安装包 并用PTF传送hadoop用户下下载目录

1,请使用hadoop用户登录虚拟机,并打开一个终端,执行一下命令:

复制代码
 sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local    # 解压到/usr/local中
 cd /usr/local/
 sudo mv ./hadoop-3.1.3/ ./hadoop      # 将文件夹名改为hadoop
 sudo chown -R hadoop ./hadoop       # 修改文件权限

2,输入一下命令检测Hadoop解压是否可以用,成功会显示其版本:

复制代码
cd /usr/local/hadoop
./bin/hadoop version
相关推荐
字节跳动数据平台4 小时前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术5 小时前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康7 小时前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
chlk1231 天前
Linux文件权限完全图解:读懂 ls -l 和 chmod 755 背后的秘密
linux·操作系统
武子康1 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
舒一笑1 天前
Ubuntu系统安装CodeX出现问题
linux·后端
改一下配置文件1 天前
Ubuntu24.04安装NVIDIA驱动完整指南(含Secure Boot解决方案)
linux
大大大大晴天1 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
深紫色的三北六号2 天前
Linux 服务器磁盘扩容与目录迁移:rsync + bind mount 实现服务无感迁移(无需修改配置)
linux·扩容·服务迁移
SudosuBash2 天前
[CS:APP 3e] 关于对 第 12 章 读/写者的一点思考和题解 (作业 12.19,12.20,12.21)
linux·并发·操作系统(os)