1 Hadoop入门

1.Hadoop是什么?

(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

(2)主要解决,海量数据的存储和海量数据的分析计算问题。

(3)广义上来说,Hadoop通常是指一个更广泛的概念------Hadoop生态圈

2.Hadoop的优势


3 Hadoop组成

4 HDFS概述

5 YARN架构概述

Yet Another Resource Negotiator 简称 YARN ,另一种资源协调者,是 Hadoop 的资源管理器。

yarn主要管理的是整个集群的内存和cpu

ApplicationManager运行在Container(容器)上,容器是一种虚拟化的技术,类似阿里云的容器虚拟技术,不会是真正的无数台服务器.

6 MapReduce架构概述

负责hadoop中的计算部分

7 HDFS、YARN、MapReduce 三者关系

相关推荐
牛牛木有坏心眼(大数据进阶)17 分钟前
MapReduce完整工作流程
大数据·mapreduce
踏歌的Java Daily42 分钟前
Windows安装ES单机版设置密码
大数据·windows·elasticsearch
抓哇小菜鸡1 小时前
Elasticsearch(四)
大数据·elasticsearch·搜索引擎
FF在路上1 小时前
RabbitMQ-SpringAMQP使用介绍
分布式·rabbitmq
DolphinScheduler社区2 小时前
DolphinScheduler自身容错导致的服务器持续崩溃重大问题的排查与解决
大数据
锋火连天2 小时前
Flink提交任务通过Kerberos认证
大数据·flink
明达技术3 小时前
MR30分布式 IO 在物流分拣线的卓越应用
分布式
PersistJiao11 小时前
实时数仓: Hudi 表管理、Flink 性能调优或治理工具脚本
大数据·flink
Loving_enjoy12 小时前
ChatGPT 数据分析与处理使用详解
大数据·人工智能