hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
Coder个人博客6 小时前
Linux6.19-ARM64 mm mmu子模块深入分析
大数据·linux·车载系统·系统架构·系统安全·鸿蒙系统
心态还需努力呀9 小时前
CANN仓库通信库:分布式训练的梯度压缩技术
分布式·cann
财经三剑客11 小时前
AI元年,春节出行安全有了更好的答案
大数据·人工智能·安全
岁岁种桃花儿11 小时前
Flink CDC从入门到上天系列第一篇:Flink CDC简易应用
大数据·架构·flink
TOPGUS11 小时前
谷歌SEO第三季度点击率趋势:榜首统治力的衰退与流量的去中心化趋势
大数据·人工智能·搜索引擎·去中心化·区块链·seo·数字营销
2501_9336707912 小时前
2026 高职大数据与会计专业零基础能考的证书有哪些?
大数据
WHD30612 小时前
苏州数据库(SQL Oracle)文件损坏修复
hadoop·sql·sqlite·flume·memcached
ClouderaHadoop13 小时前
CDH集群机房搬迁方案
大数据·hadoop·cloudera·cdh
TTBIGDATA13 小时前
【Atlas】Ambari 中 开启 Kerberos + Ranger 后 Atlas Hook 无权限访问 Kafka Topic:ATLAS_HOOK
大数据·kafka·ambari·linq·ranger·knox·bigtop
程序员清洒13 小时前
CANN模型部署:从云端到端侧的全场景推理优化实战
大数据·人工智能