mapreduce步骤学习总结

1.定义

mapreduce是由map和reduce任务组成的编程框架,目的是解决多机器并行协同、容错的问题。

2.步骤

1.把文件分成多个大小相同的小文件

2.主节点(main)把map任务和reduce任务分配给空闲节点

3.map工作节点处理输入,输入给自定义map函数,暂放在缓存

4.把缓存内容更新到本地磁盘,把信息通知main

5.reduce获得中间文件的数据信息对数据排序

6.reduce节点把数据输入给reduce函数

7.完成后main通知用户程序

注意:main作为map和reduce连接的通道需要维护很多信息比如文件位置,map和reduce节点的工作状态。

这个我想到了之前写的Webserver的proactor的工作模式也是把任务分成主线程和工作线程。

相关推荐
齐生13 天前
iOS 知识点 - 渲染机制、动画、卡顿小集合
笔记
用户962377954483 天前
VulnHub DC-1 靶机渗透测试笔记
笔记·测试
齐生14 天前
iOS 知识点 - IAP 是怎样的?
笔记
tingshuo29175 天前
D006 【模板】并查集
笔记
tingshuo29176 天前
S001 【模板】从前缀函数到KMP应用 字符串匹配 字符串周期
笔记
西岸行者11 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
starlaky11 天前
Django入门笔记
笔记·django
勇气要爆发11 天前
吴恩达《LangChain LLM 应用开发精读笔记》1-Introduction_介绍
笔记·langchain·吴恩达
悠哉悠哉愿意11 天前
【单片机学习笔记】串口、超声波、NE555的同时使用
笔记·单片机·学习
勇气要爆发11 天前
吴恩达《LangChain LLM 应用开发精读笔记》2-Models, Prompts and Parsers 模型、提示和解析器
android·笔记·langchain