Hadoop HDFS(分布式文件系统)

一、Hadoop HDFS(分布式文件系统)

为什么要分布式存储数据

假设一个文件有100tb,我们就把文件划分为多个部分,放入到多个服务器

靠数量取胜,多台服务器组合,才能Hold住

数据量太大,单机存储能力有上限,需要靠数量来解决问题

数量的提升带来的是网络传输,磁盘读写,CUP,内存等各方面的综合提升。分布式组合在一起可以达到

1+1>2的效果

二、大数据体系中,分布式的调度主要有2类架构模式:
1.去(无)中心化模式

去中心化模式,没有明确的中心,众多服务器之间基于特定规则进行同步协调

2.中心化模式

中心化模式

主从模式,大数据框架,大多数的基础架构上,都是符合:中心化模式的

即:有一个中心节点(服务器)来统筹其他服务器的工作,统一指挥,统一调派,避免混乱

这种模式,也被称之为:一主多从模式,简称主从模式 ( Master And Slaves )

主从模式(中心化模式)在现实生活中同样很常见:

公司企业管理,组织管理,行政管理

我们学习的Hadoop框架,就是一个典型的主从模式(中心化模式)架构的技术框架

三、HDFS Hadoop 三大组件 (HDFS MapReduce YARN) 之一

全程是: Hadoop Distributed File System Hadoop 分布文件系统)

Hadoop 技术栈内提供的分布式数据存储解决方案

可以在多台服务器上构建存储集群,存储海量的数据

HDFS就是一个典型的主从架构,拥有三个角色,以下就是HDFS的基础架构

1.NameNode:

HDFS系统的主角色,是一个独立的进程

负责管理HDFS整个文件系统

负责管理Datanode

2.Datanode:

HDFS系统的从角色,是一个独立进程

主要负责数据的存储,即存入数据和取出数据

3.SecondaryNameNode:

NameNode的辅助,是一个独立进程

主要帮忙NameNode完成源数据整理工作(打杂)

四、HDFS架构概述

1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。

2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

3)Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

五、YARN架构概述

1)ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;

2)NodeManager(nm):单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令;

3)ApplicationMaster:数据切分、为应用程序申请资源,并分配给内部任务、任务监控与容错。

4)Container:对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关

相关推荐
island131439 分钟前
【git#4】分支管理 -- 知识补充
大数据·git·elasticsearch
LCHub低代码社区44 分钟前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
晴天彩虹雨2 小时前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
一个数据大开发2 小时前
解读《数据资产质量评估实施规则》:企业数据资产认证落地的关键指南
大数据·数据库·人工智能
TTBIGDATA2 小时前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成
科技在线3 小时前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
24k小善4 小时前
Flink TaskManager详解
java·大数据·flink·云计算
时序数据说4 小时前
时序数据库IoTDB在航空航天领域的解决方案
大数据·数据库·时序数据库·iotdb
IT成长日记5 小时前
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
hive·hadoop·hdfs·数据导出
IT成长日记6 小时前
【Hive入门】Hive概述:大数据时代的数据仓库桥梁
大数据·数据仓库·hive·sql优化·分布式计算