1 Hadoop入门

1.Hadoop是什么?

(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

(2)主要解决,海量数据的存储和海量数据的分析计算问题。

(3)广义上来说,Hadoop通常是指一个更广泛的概念------Hadoop生态圈

2.Hadoop的优势


3 Hadoop组成

4 HDFS概述

5 YARN架构概述

Yet Another Resource Negotiator 简称 YARN ,另一种资源协调者,是 Hadoop 的资源管理器。

yarn主要管理的是整个集群的内存和cpu

ApplicationManager运行在Container(容器)上,容器是一种虚拟化的技术,类似阿里云的容器虚拟技术,不会是真正的无数台服务器.

6 MapReduce架构概述

负责hadoop中的计算部分

7 HDFS、YARN、MapReduce 三者关系

相关推荐
梦想画家24 分钟前
Scrapy进阶实践指南:从脚本运行到分布式爬取
分布式·scrapy·数据工程
markuszhang35 分钟前
Elasticsearch 官网阅读之 Term-level Queries
大数据·elasticsearch·搜索引擎
东阳马生架构1 小时前
Seata源码—5.全局事务的创建与返回处理二
分布式·seata·分布式事务
Hello World......2 小时前
Java求职面试:从核心技术到大数据与AI的场景应用
大数据·java面试·技术栈·互联网大厂·ai服务
掘金-我是哪吒3 小时前
分布式微服务系统架构第133集:运维服务器6年经验,高并发,大数据量系统
运维·服务器·分布式·微服务·系统架构
python算法(魔法师版)3 小时前
.NET NativeAOT 指南
java·大数据·linux·jvm·.net
星川皆无恙4 小时前
大模型学习:Deepseek+dify零成本部署本地运行实用教程(超级详细!建议收藏)
大数据·人工智能·学习·语言模型·架构
L耀早睡4 小时前
mapreduce打包运行
大数据·前端·spark·mapreduce
姬激薄4 小时前
MapReduce打包运行
大数据·mapreduce
计算机人哪有不疯的4 小时前
Mapreduce初使用
大数据·mapreduce