mapreduce步骤学习总结

1.定义

mapreduce是由map和reduce任务组成的编程框架,目的是解决多机器并行协同、容错的问题。

2.步骤

1.把文件分成多个大小相同的小文件

2.主节点(main)把map任务和reduce任务分配给空闲节点

3.map工作节点处理输入,输入给自定义map函数,暂放在缓存

4.把缓存内容更新到本地磁盘,把信息通知main

5.reduce获得中间文件的数据信息对数据排序

6.reduce节点把数据输入给reduce函数

7.完成后main通知用户程序

注意:main作为map和reduce连接的通道需要维护很多信息比如文件位置,map和reduce节点的工作状态。

这个我想到了之前写的Webserver的proactor的工作模式也是把任务分成主线程和工作线程。

相关推荐
saoys3 小时前
Opencv 学习笔记:轮廓发现(提取 + 绘制全流程)
笔记·opencv·学习
zhangrelay4 小时前
如何让手机电脑流畅飞起低碳节能性能拉满-软件安装篇-ESR-Extended Support Release-延长支持版-LTS
linux·运维·笔记·学习
@––––––4 小时前
论文阅读笔记:The Bitter Lesson (苦涩的教训)
论文阅读·人工智能·笔记
傻小胖5 小时前
6.BTC-网络-北大肖臻老师客堂笔记
笔记·web3·区块链
Lonely 净土5 小时前
第5-10天学习笔记
笔记·学习
EmbedLinX5 小时前
内存池学习笔记(附C++完整实现)
c++·笔记·学习
嵌入式×边缘AI:打怪升级日志5 小时前
USBX虚拟串口源码分析与改造笔记
笔记·学习笔记·usb
BlackWolfSky6 小时前
鸿蒙中级课程笔记3—ArkUI进阶6—ArkUI性能优化实践(长列表加载性能优化)
笔记·华为·harmonyos
马猴烧酒.6 小时前
智能协图云图库学习笔记day6-主流图片优化技术
笔记·学习