hadoop基本概念

一、概念

Hadoop 是一个开源的分布式计算和存储框架。

Hadoop 使用 Java 开发,所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS,HDFS) 和 MapReduce。

二、HDFS

命名节点 (NameNode)

命名节点 (NameNode) 是用于指挥其它节点存储的节点。

数据节点 (DataNode)

数据节点 (DataNode) 使用来储存数据块的节点。

副命名节点 (Secondary NameNode)

副命名节点 (Secondary NameNode) 别名"次命名节点",是命名节点的"秘书"。

三、MapReduce

分布式记录合并结果

相关推荐
lsrsyx3 小时前
中信银行太原长治路支行赴老年活动服务中心开展专题金融知识宣讲
大数据·人工智能
惜棠4 小时前
ragflow安装es报错怎么办
大数据·elasticsearch·搜索引擎
Pandaconda5 小时前
【后端开发面试题】每日 3 题(二十)
开发语言·分布式·后端·面试·消息队列·熔断·服务限流
你觉得2057 小时前
天津大学第二讲:《深度解读DeepSeek:部署、使用、安全》|附PPT下载方法
大数据·人工智能·安全·机器学习·ai·知识图谱·内容运营
Stanford_11067 小时前
关于大数据的基础知识(四)——大数据的意义与趋势
大数据·人工智能·物联网·微信·微信公众平台·微信开放平台
打死不学Java代码9 小时前
Redis分布式锁如何实现——简单理解版
java·开发语言·redis·分布式·缓存·面试
Elastic 中国社区官方博客10 小时前
Elasticsearch:构建 AI 驱动的搜索体验
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
Python数据分析与机器学习10 小时前
《基于Python+web的家具消费数据的数据分析与应用》开题报告
开发语言·网络·分布式·python·web安全·数据分析·flask
33三 三like11 小时前
大数据E10:基于Spark和Scala编程解决一些基本的数据处理和统计分析,去重、排序等
大数据
安科瑞王可13 小时前
分布式光伏防逆流管理:技术要点与实践解析
分布式·新能源·光伏·并网·防逆流