Hadoop简介

1. Hadoop简介

官网:http://hadoop.apache.org

1.1 Hadoop架构
  • Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN
1.2 Hadoop历史
  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分,主要包括web爬虫、全文检索;2003年"谷歌分布式文件系统GFS"论文,2004年开源版本NDFS

  • 2004年"谷歌MapReduce"论文,2005年Nutch开源版MapReduce

2、更多内容:

相关推荐
秋已杰爱2 小时前
Redis分布式锁
数据库·redis·分布式
西猫雷婶7 小时前
STAR-CCM+|K-epsilon湍流模型溯源
大数据·云计算
努力买辣条7 小时前
基于 Docker 的高可用 WordPress 集群部署:分布式 Nginx + Keepalived、MySQL 主从复制与 ProxySQL 读写分离
分布式·nginx·docker
2501_924889558 小时前
商超高峰客流统计误差↓75%!陌讯多模态融合算法在智慧零售的实战解析
大数据·人工智能·算法·计算机视觉·零售
曼岛_9 小时前
[系统架构设计师]大数据架构设计理论与实践(十九)
大数据·系统架构·系统架构设计师
计算机编程小咖10 小时前
《基于大数据的农产品交易数据分析与可视化系统》选题不当,毕业答辩可能直接挂科
java·大数据·hadoop·python·数据挖掘·数据分析·spark
.Shu.10 小时前
git实战(7)git常用命令速查表
大数据·git
软件开发明哥11 小时前
BigData大数据应用开发学习笔记(03)离线处理--数据仓库Hive
大数据
haidizym11 小时前
质谱数据分析环节体系整理
大数据·人工智能·数据分析·ai4s
2501_9248905212 小时前
商超场景徘徊识别误报率↓79%!陌讯多模态时序融合算法落地优化
java·大数据·人工智能·深度学习·算法·目标检测·计算机视觉