MapReduce概述

分布式计算框架 - MapReduce

MapReduce是"分散->汇总"模式的分布式计算框架,可供开发人员开发相关程序进行分布式数据计算。

分布式计算概述-什么是分布式计算http://t.csdnimg.cn/ZcUfe

MapReduce提供了2个编程接口:

Map

Reduce

其中 Map功能接口提供了"分散"的功能, 由服务器分布式对数据进行处理

Reduce功能接口提供了"汇总(聚合)"的功能,将分布式的处理结果汇总统计

用户如需使用MapReduce框架完成自定义需求的程序开发 只需要使用Java、Python等编程语言,实现Map Reduce功能接口即可。

MapReduce执行原理

现在, 我们借助一个案例,简单分析一下,MapReduce是如何完成分布式计算的。

假设有如下文件,内部记录了许多的单词。且已经开发好了一个MapReduce程序,功能是统计每个单词出现的次数。

假定有4台服务器用以执行MapReduce任务 可以3台服务器执行Map,1台服务器执行Reduce

计算过程如下

相关推荐
这人很懒没留下什么3 分钟前
SpringBoot2.7.4整合MongoDb
数据库·spring boot·mongodb
0***v7773 分钟前
redis批量删除namespace下的数据
数据库·redis·缓存
q***06295 分钟前
【细如狗】记录一次使用MySQL的Binlog进行数据回滚的完整流程
android·数据库·mysql
8***84826 分钟前
SQL 实战—递归 SQL:层级结构查询与处理树形数据
java·数据库·sql
睡前要喝豆奶粉9 分钟前
EF Core动态sql
数据库·sql·c#·.netcore
p***s9110 分钟前
mysql用户名怎么看
数据库·mysql
5***g22913 分钟前
Ubuntu 系统下安装 Nginx
数据库·nginx·ubuntu
z***026014 分钟前
Python大数据可视化:基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
大数据·python·信息可视化
知识分享小能手16 分钟前
openEuler入门学习教程,从入门到精通,openEuler 24.03 环境下 Hadoop 全面实践指南(19)
大数据·hadoop·openeuler
3***g20516 分钟前
SQL sever数据导入导出实验
数据库·sql·oracle