Hadoop简介

小技工丨2025-02-28 11:44

1. Hadoop简介

官网：http://hadoop.apache.org

1.1 Hadoop架构
  • Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN
1.2 Hadoop历史

  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年"谷歌分布式文件系统GFS"论文，2004年开源版本NDFS

  • 2004年"谷歌MapReduce"论文，2005年Nutch开源版MapReduce

2、更多内容：

相关推荐
阿里云大数据AI技术15 小时前
StarRocks 助力数禾科技构建实时数仓：从数据孤岛到智能决策
大数据
Lx35219 小时前
Hadoop数据处理优化：减少Shuffle阶段的性能损耗
大数据·hadoop
努力的小郑1 天前
从一次分表实践谈起：我们真的需要复杂的分布式ID吗？
分布式·后端·面试
武子康1 天前
大数据-99 Spark Streaming 数据源全面总结：原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
AAA修煤气灶刘哥1 天前
别让Redis「歪脖子」！一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云大数据AI技术2 天前
大数据公有云市场第一，阿里云占比47%！
大数据
Lx3522 天前
Hadoop容错机制深度解析：保障作业稳定运行
大数据·hadoop
Aomnitrix2 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐2 天前
Kafka 入门指南：从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
热门推荐
01GitHub 镜像站点02UV 工具安装与国内镜像源配置指南03Claude Code 平替：OpenAI发布 Codex CLI ，GPT-5 国内直接使用04UV安装并设置国内源0546个Nano-banana 精选提示词，持续更新中06A股预测还能更准？开源大模型Kronos带你跑通预测+回测全流程07保姆级教程：手把手教你用Dify实现完美多轮对话（附Chatflow和提示词）08智能库存管理的需求预测模型：从业务痛点到落地代码的完整实践09解决 WSL Ubuntu 中 /etc/resolv.conf 自动重置问题10Spec-Kit 使用指南