MapReduce 分布式计算模型

需求:单词计数

"Hello World Hello Hadoop Hello MapReduce"

实现:

map阶段:拆分成单词,执行map函数输出键值对<word, 1>

<Hello, 1>

<World, 1>

<Hello, 1>

<Hadoop, 1>

<Hello, 1>

<MapReduce, 1>

shuffle阶段:按键合并值

"Hello": [1, 1, 1]

"World": [1]

"Hadoop": [1]

"MapReduce": [1]

reduce阶段:执行reduce函数,按键聚合值

<Hello, 3>

<World, 1>

<Hadoop, 1>

<MapReduce, 1>

思想

分而治之:大拆小,并行处理

移动计算而非数据

相关推荐
励志成为糕手8 小时前
大数据MapReduce架构:分布式计算的经典范式
大数据·hadoop·mapreduce·分布式计算·批处理
喂完待续21 小时前
【Tech Arch】Spark为何成为大数据引擎之王
大数据·hadoop·python·数据分析·spark·apache·mapreduce
程序员小羊!12 天前
Hadoop MapReduce 3.3.4 讲解~
大数据·hadoop·mapreduce
码字的字节1 个月前
深入解析Hadoop MapReduce中Reduce阶段排序的必要性
大数据·hadoop·mapreduce·reduce
码字的字节1 个月前
深入解析Hive SQL转MapReduce的编译原理:从AST抽象语法树到Operator执行树
hive·sql·ast·mapreduce·operator
莫彩1 个月前
Mapreduce 工业界批式计算经验汇总(下)
大数据·mapreduce
Edingbrugh.南空1 个月前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
一瓣橙子1 个月前
缺少关键的 MapReduce 框架文件
大数据·mapreduce
王小王-1232 个月前
基于Hadoop的大规模文本词频统计分析系统设计与实现
hadoop·mapreduce·hadoop词频统计·hadoop文本统计·mapreduce词频统计
小高不会迪斯科2 个月前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce