Hadoop生态圈中的各个组件的介绍

hdfs

namenode

  • 维护目录树,维护命名空间。
  • 负责确定指定的文件块到具体的Datanode结点的映射关系。(在客户端与Datanode之间共享数据)
  • 管理Datanode结点的状态报告

datanode

  • 负责管理它所在结点上存储的数据的读写,及存储数据。
  • 向Namenode结点报告DataNode节点的状态。
  • 通过流水线复制实现数据副本。

Standby NameNode

Standby NameNode只是作为Active NameNode的备份,保证在Active NameNode出现问题时能够快速的替代它。

JournalNode

为了使Standby节点保持其状态与Active 节点同步,两节点都与 一组称"JournalNodes"(JN)的单独守护进程进行通信 。当Active 节点执行任何命名空间修改时,它会持久地将修改记录记录到这些JN的大多数中Standby节点能够从JN读取edit log内容,并不断监视它们以查看edit log内容的更改。当"Standby节点"看到edit log变化时,会将其应用到自己的命名空间。发生故障转移时,备用服务器将确保在将自身升级为活跃状态之前,已从JournalNode读取所有edit log内容。这样可确保在发生故障转移之前,命名空间状态已经完全同步。

DFSZKFailoverController

  • Failure detector: 及时发现出故障的NN,并通知zkfc
  • Active node locator: 帮助客户端定位哪个是Active的NN
  • Mutual exclusion of active state: 保证某一时刻只有一个Active的NN

yarn

JobHistoryServer

历史服务器,管理者可以通过历史服务器查看已经运行完成的Mapreduce作业记录,比如用了多少个Map、多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。

ResourceManager

  • 处理客户端请求;
  • 启动或监控ApplicationMaster;
  • 监控NodeManager;
  • 资源的分配与调度。

NodeManager

  • 它负责接收处理来自ResourceManager的资源分配请求,分配具体的Container给应用。
  • 同时,它还负责监控并报告Container使用信息给ResourceManager。NodeManager只负责管理自身的Container,它并不知道运行在它上面应用的信息。负责管理应用信息的组件是ApplicationMaster
相关推荐
zandy10111 小时前
全链路可控+极致性能,衡石HENGSHI CLI重新定义企业级BI工具的AI协作能力
大数据·人工智能·ai analytics·ai native·agent-first
果粒蹬i3 小时前
Elasticsearch 单机部署实测:安装流程、常见坑点与远程访问配置
大数据·elasticsearch·搜索引擎
AC赳赳老秦3 小时前
OpenClaw数据库高效操作指南:MySQL/PostgreSQL批量处理与数据迁移实战
大数据·数据库·mysql·elasticsearch·postgresql·deepseek·openclaw
小王毕业啦3 小时前
2006-2023年 省级-建成区绿化覆盖率数据(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
AEIC学术交流中心5 小时前
【快速EI检索 | SPIE出版】第六届中国膜计算论坛暨2026年人工智能、大数据与电气自动化国际学术会议(CWMC&AIBDE 2026)
大数据·人工智能·量子计算
历程里程碑5 小时前
二叉树---二叉树的中序遍历
java·大数据·开发语言·elasticsearch·链表·搜索引擎·lua
凌乱的豆包5 小时前
Spring Cloud Alibaba Nacos 服务注册发现和分布式配置中心
分布式
AC赳赳老秦5 小时前
OpenClaw text-translate技能:多语言批量翻译,解决跨境工作沟通难题
大数据·运维·数据库·人工智能·python·deepseek·openclaw
Elastic 中国社区官方博客6 小时前
使用 Elasticsearch + Jina embeddings 进行无监督文档聚类
大数据·人工智能·elasticsearch·搜索引擎·全文检索·jina
我是章汕呐7 小时前
政策评估的“黄金标准”:DID模型从原理到Stata实操
大数据·人工智能·经验分享·算法·回归