hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
Lansonli4 分钟前
大数据Spark(六十一):Spark基于Standalone提交任务流程
大数据·分布式·spark
Rverdoser2 小时前
电脑硬盘分几个区好
大数据
傻啦嘿哟2 小时前
Python 数据分析与可视化实战:从数据清洗到图表呈现
大数据·数据库·人工智能
Theodore_10222 小时前
大数据(2) 大数据处理架构Hadoop
大数据·服务器·hadoop·分布式·ubuntu·架构
簌簌曌2 小时前
CentOS7 + JDK8 虚拟机安装与 Hadoop + Spark 集群搭建实践
大数据·hadoop·spark
Theodore_10224 小时前
大数据(1) 大数据概述
大数据·hadoop·数据分析·spark·hbase
Aurora_NeAr5 小时前
Apache Spark详解
大数据·后端·spark
IvanCodes6 小时前
六、Sqoop 导出
大数据·hadoop·sqoop
G探险者7 小时前
《深入理解 Nacos 集群与 Raft 协议》系列五:为什么集群未过半,系统就不可用?从 Raft 的投票机制说起
分布式·后端
G探险者7 小时前
《深入理解 Nacos 集群与 Raft 协议》系列一:为什么 Nacos 集群必须过半节点存活?从 Raft 协议说起
分布式·后端