MapReduce 分布式计算模型

需求:单词计数

"Hello World Hello Hadoop Hello MapReduce"

实现:

map阶段:拆分成单词,执行map函数输出键值对<word, 1>

<Hello, 1>

<World, 1>

<Hello, 1>

<Hadoop, 1>

<Hello, 1>

<MapReduce, 1>

shuffle阶段:按键合并值

"Hello": [1, 1, 1]

"World": [1]

"Hadoop": [1]

"MapReduce": [1]

reduce阶段:执行reduce函数,按键聚合值

<Hello, 3>

<World, 1>

<Hadoop, 1>

<MapReduce, 1>

思想

分而治之:大拆小,并行处理

移动计算而非数据

相关推荐
WL_Aurora14 小时前
MapReduce数据倾斜解决方案
大数据·mapreduce
WL_Aurora2 天前
MapReduce【Shuffle-Combiner】
大数据·mapreduce
Volunteer Technology5 天前
MapReduce使用与原理(一)
大数据·eclipse·mapreduce
Volunteer Technology5 天前
MapReduce使用与原理 (二)
大数据·mapreduce
Volunteer Technology6 天前
MapReduce 介绍
大数据·mapreduce
WL_Aurora11 天前
MapReduce框架原理深度解析 | Shuffle机制、切片分区、Join全攻略
大数据·hadoop·mapreduce
WL_Aurora19 天前
MapReduce经典例题【第二期】
大数据·mapreduce
WL_Aurora21 天前
MapReduce经典例题【第一期】
大数据·mapreduce
菜鸟小码23 天前
MapReduce 真正的核心之Shuffle 阶段深度解析:分区、排序、合并与归约
大数据·mapreduce
菜鸟小码24 天前
MapReduce 编程模型详解:Mapper、Reducer、Driver 三大核心组件
大数据·javascript·mapreduce