MapReduce 分布式计算模型

需求:单词计数

"Hello World Hello Hadoop Hello MapReduce"

实现:

map阶段:拆分成单词,执行map函数输出键值对<word, 1>

<Hello, 1>

<World, 1>

<Hello, 1>

<Hadoop, 1>

<Hello, 1>

<MapReduce, 1>

shuffle阶段:按键合并值

"Hello": [1, 1, 1]

"World": [1]

"Hadoop": [1]

"MapReduce": [1]

reduce阶段:执行reduce函数,按键聚合值

<Hello, 3>

<World, 1>

<Hadoop, 1>

<MapReduce, 1>

思想

分而治之:大拆小,并行处理

移动计算而非数据

相关推荐
长勺8 天前
HDFS存储原理与MapReduce计算模型
hadoop·hdfs·mapreduce
敖云岚10 天前
【Hadoop】大数据技术之 MapReduce
大数据·hadoop·mapreduce
忘了ʷºᵇₐ12 天前
MapReduce-Top N程序编写与运行
大数据·hadoop·maven·mapreduce·idea
忘了ʷºᵇₐ13 天前
MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点
java·大数据·linux·intellij-idea·mapreduce
敲敲敲-敲代码14 天前
【大数据】MapReduce 编程-- PageRank--网页排名算法,用于衡量网页“重要性”-排序网页
大数据·笔记·mapreduce
哈哈真棒14 天前
MapReduce打包运行
大数据·数据库·mapreduce
敲敲敲-敲代码14 天前
【大数据】MapReduce 编程--索引倒排--根据“内容 ➜ 出现在哪些文件里(某个单词出现在了哪些文件中,以及在每个文件中出现了多少次)
大数据·笔记·mapreduce
L耀早睡17 天前
mapreduce打包运行
大数据·前端·spark·mapreduce
姬激薄17 天前
MapReduce打包运行
大数据·mapreduce