MapReduce 分布式计算模型

需求:单词计数

"Hello World Hello Hadoop Hello MapReduce"

实现:

map阶段:拆分成单词,执行map函数输出键值对<word, 1>

<Hello, 1>

<World, 1>

<Hello, 1>

<Hadoop, 1>

<Hello, 1>

<MapReduce, 1>

shuffle阶段:按键合并值

"Hello": [1, 1, 1]

"World": [1]

"Hadoop": [1]

"MapReduce": [1]

reduce阶段:执行reduce函数,按键聚合值

<Hello, 3>

<World, 1>

<Hadoop, 1>

<MapReduce, 1>

思想

分而治之:大拆小,并行处理

移动计算而非数据

相关推荐
小手WA凉12 小时前
Hadoop之MapReduce
大数据·mapreduce
kngines20 小时前
【字节跳动】数据挖掘面试题0003:有一个文件,每一行是一个数字,如何用 MapReduce 进行排序和求每个用户每个页面停留时间
人工智能·数据挖掘·mapreduce·面试题
陌殇殇20 天前
Hadoop 003 — JAVA操作MapReduce入门案例
java·hadoop·mapreduce
zh_1999523 天前
Spark 之 入门讲解详细版(1)
大数据·spark·mapreduce·数据库架构·etl·涛思数据·odps
HUTAC1 个月前
MapReduce(期末速成版)
大数据·mapreduce
长勺1 个月前
HDFS存储原理与MapReduce计算模型
hadoop·hdfs·mapreduce
敖云岚1 个月前
【Hadoop】大数据技术之 MapReduce
大数据·hadoop·mapreduce
忘了ʷºᵇₐ1 个月前
MapReduce-Top N程序编写与运行
大数据·hadoop·maven·mapreduce·idea
忘了ʷºᵇₐ1 个月前
MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点
java·大数据·linux·intellij-idea·mapreduce