mapreduce步骤学习总结

1.定义

mapreduce是由map和reduce任务组成的编程框架,目的是解决多机器并行协同、容错的问题。

2.步骤

1.把文件分成多个大小相同的小文件

2.主节点(main)把map任务和reduce任务分配给空闲节点

3.map工作节点处理输入,输入给自定义map函数,暂放在缓存

4.把缓存内容更新到本地磁盘,把信息通知main

5.reduce获得中间文件的数据信息对数据排序

6.reduce节点把数据输入给reduce函数

7.完成后main通知用户程序

注意:main作为map和reduce连接的通道需要维护很多信息比如文件位置,map和reduce节点的工作状态。

这个我想到了之前写的Webserver的proactor的工作模式也是把任务分成主线程和工作线程。

相关推荐
三块可乐两块冰几秒前
【第二十九周】机器学习笔记三十
笔记
听麟41 分钟前
HarmonyOS 6.0+ 跨端智慧政务服务平台开发实战:多端协同办理与电子证照管理落地
笔记·华为·wpf·音视频·harmonyos·政务
risc1234562 小时前
认识一个事物,需要哪些基本能力与要素?
笔记
firewood20242 小时前
共射三极管放大电路相关情况分析
笔记·学习
Hello_Embed2 小时前
libmodbus STM32 主机实验(USB 串口版)
笔记·stm32·学习·嵌入式·freertos·modbus
risc1234563 小时前
思维脚手架
笔记
risc1234563 小时前
只身走过多少的岁月,弹指一梦不过一瞬间
笔记
小陈phd3 小时前
多模态大模型学习笔记(一)——机器学习入门:监督/无监督学习核心任务全解析
笔记·学习·机器学习
崎岖Qiu3 小时前
【计算机网络 | 第九篇】PPP:点对点协议
网络·笔记·计算机网络·ppp
听麟4 小时前
HarmonyOS 6.0+ PC端虚拟仿真训练系统开发实战:3D引擎集成与交互联动落地
笔记·深度学习·3d·华为·交互·harmonyos