1 Hadoop入门

1.Hadoop是什么?

(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

(2)主要解决,海量数据的存储和海量数据的分析计算问题。

(3)广义上来说,Hadoop通常是指一个更广泛的概念------Hadoop生态圈

2.Hadoop的优势


3 Hadoop组成

4 HDFS概述

5 YARN架构概述

Yet Another Resource Negotiator 简称 YARN ,另一种资源协调者,是 Hadoop 的资源管理器。

yarn主要管理的是整个集群的内存和cpu

ApplicationManager运行在Container(容器)上,容器是一种虚拟化的技术,类似阿里云的容器虚拟技术,不会是真正的无数台服务器.

6 MapReduce架构概述

负责hadoop中的计算部分

7 HDFS、YARN、MapReduce 三者关系

相关推荐
Elastic 中国社区官方博客4 小时前
Elasticsearch:快速近似 ES|QL - 第一部分
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索
龙腾AI白云6 小时前
大模型在天文科研中的应用:天体数据分析
大数据·flask·逻辑回归·pygame
快乐非自愿6 小时前
抛弃传统AI:OpenClaw与Skill重构AI生产力,技术范式不可逆
大数据·人工智能
网络研究员7 小时前
Claude身份认证后还是被封?三条稳定防封策略
大数据·人工智能
TuCoder7 小时前
2026年了,景区制作智慧导地图有哪些选择?
大数据
2601_949925187 小时前
基于 OpenClaw 打造货代行业 AI 智能体架构实战
大数据·人工智能·架构·ai智能体
zhengyquan7 小时前
7000mAh 电池 + 独立 AI 键,小米 18 Pro 是堆料还是突破?
大数据·人工智能
geneculture7 小时前
意识的多学科定义:从16个视域,到融智学统合——基于“意+识”框架且区分“意识≠心智”系统研究
大数据·人工智能·融智学的重要应用·哲学与科学统一性·融智时代(杂志)·意识=意+识·智=信息处理+选择用意
Ai173163915798 小时前
GB200 NVL72超节点深度解析:架构、生态与产业格局
大数据·服务器·人工智能·神经网络·机器学习·计算机视觉·架构
观远数据8 小时前
跨部门BI推广权限治理指南:如何避免数据泄露与权责混乱
大数据·人工智能·数据分析