hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
我是苏苏5 分钟前
消息中间件RabbitMQ-01:简要介绍及其Windows安装流程
分布式·rabbitmq
码熔burning6 分钟前
【MQ篇】初识RabbitMQ保证消息可靠性
java·分布式·rabbitmq·可靠性
TDengine (老段)29 分钟前
TDengine 流计算引擎设计
大数据·数据库·物联网·flink·时序数据库·tdengine·涛思数据
全栈开发圈31 分钟前
新书速览|Hadoop与Spark大数据全景解析(视频教学版)
大数据·hadoop·spark
ShAn DiAn1 小时前
实时步数统计系统 kafka + spark +redis
大数据·redis·分布式·spark·kafka
用户199701080181 小时前
深入研究:Shopee商品列表API接口详解
大数据·爬虫·数据挖掘
胡耀超1 小时前
5.第五章:数据分类的方法论
大数据·人工智能·分类·数据挖掘·数据治理·数据分类·分类分级
神奇的黄豆2 小时前
Spark-streaming核心编程
大数据·spark
苏小夕夕2 小时前
kafka安装、spark安装
大数据·spark·kafka
知初~2 小时前
java—12 kafka
分布式·中间件·kafka