Hadoop简介

1. Hadoop简介

官网:http://hadoop.apache.org

1.1 Hadoop架构
  • Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN
1.2 Hadoop历史
  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分,主要包括web爬虫、全文检索;2003年"谷歌分布式文件系统GFS"论文,2004年开源版本NDFS

  • 2004年"谷歌MapReduce"论文,2005年Nutch开源版MapReduce

2、更多内容:

相关推荐
数据要素X7 分钟前
【数据架构08】数字化转型架构篇
大数据·数据库·数据仓库·架构·数据库架构
黄雪超2 小时前
Kafka——关于主题管理
大数据·分布式·kafka
阿里云大数据AI技术2 小时前
【跨国数仓迁移最佳实践4】MaxCompute 企业级能力升级:跨域访问控制与数据安全特性增强
大数据·人工智能·云计算
天天讯通3 小时前
机器人系统对接线索平台好处
大数据·数据库·人工智能·机器人·语音识别
周某某~3 小时前
Rabbit MQ的消息模式-Java原生代码
java·分布式·rabbitmq
2501_924877624 小时前
智慧零售商品识别准确率↑32%:陌讯多模态融合算法实战解析
大数据·算法·目标检测·计算机视觉·视觉检测·边缘计算
zero_face4 小时前
elk原理简述 - filebeat
大数据·后端
找不到、了4 小时前
Kafka在Springboot项目中的实践
spring boot·分布式·kafka
沈健_算法小生4 小时前
Apache Kafka核心组件详解
分布式·kafka·apache
Flink_China4 小时前
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
大数据·flink