hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
wan5555cn1 天前
当代社会情绪分类及其改善方向深度解析
大数据·人工智能·笔记·深度学习·算法·生活
chad__chang1 天前
dolphinscheduler安装过程
hive·hadoop
SirLancelot11 天前
MongoDB-基本介绍(一)基本概念、特点、适用场景、技术选型
java·数据库·分布式·后端·mongodb·软件工程·软件构建
koping_wu1 天前
【Kafka】架构原理、消息丢失、重复消费、顺序消费、事务消息
分布式·架构·kafka
板凳坐着晒太阳1 天前
Flink 作业通用优化方案
大数据·flink
补三补四1 天前
Git 基础操作指南
大数据·git·elasticsearch
weixin_lynhgworld1 天前
剧本杀小程序系统开发:内容生态与商业模式的双轮驱动
大数据·小程序
QYResearch1 天前
QYResearch市场调研工业黑光灯市场份额
大数据
QYResearch1 天前
qyresearch全球不锈钢板市场占有率排名
大数据
柳贯一(逆流河版)1 天前
Redis 分布式锁实战:解决马拉松报名并发冲突与 Lua 原子性优化
redis·分布式·lua