Hadoop简介及单点伪分布式安装

目录

  • [1. 大数据](#1. 大数据)
  • [2. Hadoop简介](#2. Hadoop简介)
  • [3. Hadoop伪分布式安装](#3. Hadoop伪分布式安装)
  • [4. Hadoop启动](#4. Hadoop启动)
  • 参考

1. 大数据

大数据的定义:一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。

特征:

1.海量的数据规模

2.快速的数据流转

3.多样的数据类型

4.价值密度低

上述特征可以缩小成5个特点:大量、高速、多样、价值、真实性。

2. Hadoop简介

Hadoop是一个由Apache软件基金会开发的分布式系统基础架构,它实现了一个分布式文件系统HDFS。HDFS具有高容错性,可以部署在价格低廉的硬件上,能提供高吞吐量来访问应用程序的数据。Hadoop的另一个核心设计就是MapReduce,MapReduce为海量的数据提供了计算。

3. Hadoop伪分布式安装

我推荐看Hadoop官网的单点伪分布式安装,一定要完成Pseudo-Distributed Operation中的配置。

这里我推荐使用Docker,我已经制作好了一个单点伪分布式的Hadoop镜像。拉取该镜像的命令:docker pull mengsui/single_node_hadoop:4.0

使用该镜像运行容器的命令:docker run -d --gpus all -p 8080:8080 -p 8088:8088 -p 9870:9870 mengsui/single_node_hadoop:4.0(我在其中配置了nvidia-container-toolkit,可以使用宿主机的GPU)。

9870是WebHDFS的端口,8088是 YARN ResourceManager Web UI的端口,8080是code-server(vscode网页版的端口)。

4. Hadoop启动

启动命令:start-dfs.sh start-yarn.sh

关闭命令:stop-dfs.sh stop-yarn.sh

检查启动是否成功:jps。启动成功,在jps命令下会显示ResourceManager、DataNode、SecondaryNameNode、NameNode、NodeManager。

启动完后,直接点击8088和9870端口的连接,即可进入如下界面。

参考

吴章勇 杨强著 大数据Hadoop3.X分布式处理实战

相关推荐
还是大剑师兰特1 小时前
Hadoop面试题及详细答案 110题 (86-95)-- Hadoop生态系统工具
hadoop·大剑师·hadoop面试题
yumgpkpm1 小时前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
Q26433650232 小时前
大数据实战项目-基于K-Means算法与Spark的豆瓣读书数据分析与可视化系统-基于python的豆瓣读书数据分析与可视化大屏
大数据·hadoop·机器学习·数据分析·spark·毕业设计·kmeans
大数据CLUB4 小时前
基于spark的抖音短视频数据分析及可视化
大数据·hadoop·分布式·数据分析·spark
yumgpkpm4 小时前
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
hive·hadoop·elasticsearch·zookeeper·big data
板凳坐着晒太阳4 小时前
Hive 删除分区语句卡死问题
数据仓库·hive·hadoop
Q264336502317 小时前
【有源码】基于Hadoop生态的大数据共享单车数据分析与可视化平台-基于Python与大数据的共享单车多维度数据分析可视化系统
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
计算机毕业设计木哥17 小时前
计算机毕设选题推荐:基于Hadoop和Python的游戏销售大数据可视化分析系统
大数据·开发语言·hadoop·python·信息可视化·spark·课程设计
嘉禾望岗50321 小时前
hive on tez运行及hive ha搭建
数据仓库·hive·hadoop
笨蛋少年派1 天前
操作Hadoop时,慎用sudo
大数据·hadoop·分布式