hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
网络工程小王14 分钟前
【大数据技术详解】——Kibana(学习笔记)
大数据·笔记·学习
zxsz_com_cn2 小时前
设备预测性维护方案设计的关键要素
大数据·人工智能
唐天下闻化2 小时前
连锁数字化改造8成翻车?三维避坑实录
大数据
坚持学习前端日记4 小时前
从零开始构建小说推荐智能体 - Coze 本地部署完整教程
大数据·人工智能·数据挖掘
smchaopiao4 小时前
Hive中的排序与分桶技术详解
数据仓库·hive·hadoop
IDIOT___IDIOT5 小时前
关于 git 进行版本管理的时候 gitignore 写入忽略规则而不生效的问题
大数据·git·elasticsearch
不想看见4045 小时前
Git 误删急救手册
大数据·git·elasticsearch
少许极端5 小时前
消息队列-RabbitMQ(1)
分布式·消息队列·rabbitmq
网络工程小王5 小时前
【大数据技术详解】——Elasticsearch技术(学习笔记)
大数据·大数据技术·向量查询