hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
武子康1 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
数据与人工智能律师4 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle6 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
itLaity6 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_529835356 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生
weixin_lynhgworld7 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
smileNicky7 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三7 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby
Java初学者小白8 小时前
秋招Day19 - 分布式 - 分布式事务
java·分布式
RPA+AI十二工作室9 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀