hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
笨蛋不要掉眼泪3 小时前
RabbitMQ消息队列:交换机机制
java·分布式·rabbitmq
zcmodeltech3 小时前
智慧农业沙盘模型物联网控制系统设计:基于STM32与Modbus RTU的传感器-执行器闭环方案
服务器·分布式·stm32·嵌入式硬件·物联网·能源
想你依然心痛3 小时前
HarmonyOS 5.0智慧农业开发实战:构建分布式农业物联网与区块链农产品溯源系统
人工智能·分布式·物联网·区块链·智慧农业·harmonyos·开发实战
spider_xcxc16 小时前
Argo CD App of Apps 模式深度解析:像管理应用一样管理应用
大数据·数据库·elasticsearch
珠***格16 小时前
分布式光伏电站:四可装置如何实现 “可观、可测、可控、可调”
网络·人工智能·分布式·架构·能源
奥莱维17 小时前
酒店客房智能控制如何提升睡眠与入住体验
大数据·人工智能
greenbbLV18 小时前
中小公司积分商城选型:SaaS与私有化优劣对比分析
大数据·运维·人工智能
希艾席帝恩18 小时前
数字孪生赋能智慧物流:物流行业转型升级新路径
大数据·人工智能·低代码·ai·数字化转型
L16247618 小时前
消息队列(MQ)总览:RabbitMQ & Kafka 完整手册
分布式·kafka·rabbitmq
阿里云大数据AI技术18 小时前
EMR Serverless Spark 基于 MinHash-LSH 实现 PB 级文本语义去重 4 倍加速
大数据·人工智能·spark