MapReduce 分布式计算模型

需求:单词计数

"Hello World Hello Hadoop Hello MapReduce"

实现:

map阶段:拆分成单词,执行map函数输出键值对<word, 1>

<Hello, 1>

<World, 1>

<Hello, 1>

<Hadoop, 1>

<Hello, 1>

<MapReduce, 1>

shuffle阶段:按键合并值

"Hello": [1, 1, 1]

"World": [1]

"Hadoop": [1]

"MapReduce": [1]

reduce阶段:执行reduce函数,按键聚合值

<Hello, 3>

<World, 1>

<Hadoop, 1>

<MapReduce, 1>

思想

分而治之:大拆小,并行处理

移动计算而非数据

相关推荐
十月南城10 小时前
Hadoop基础认知——HDFS、YARN、MapReduce在现代体系中的位置与价值
hadoop·hdfs·mapreduce
迎仔5 天前
03-Apache Tez 通俗指南:MapReduce 的“高速公路”升级包
大数据·apache·mapreduce
bigdata-rookie7 天前
Spark shuffle 和 MapReduce shuffle 的区别
大数据·spark·mapreduce
ha_lydms8 天前
Hadoop 架构
大数据·hadoop·hdfs·架构·mapreduce·yarn·数据处理
shjita12 天前
mapreduce多文件的处理手法
大数据·mapreduce
徐先生 @_@|||17 天前
大数据技术栈演进:从MapReduce到云原生计算的全面对比(2026年)
大数据·hadoop·云原生·spark·mapreduce
talle202119 天前
Hadoop分布式计算框架【MapReduce】
大数据·hadoop·mapreduce
無森~20 天前
实战:温度分析
大数据·hadoop·mapreduce
無森~20 天前
MapReduce
大数据·mapreduce
zhixingheyi_tian1 个月前
MapReduce 之 Splits
大数据·mapreduce