mapreduce步骤学习总结

1.定义

mapreduce是由map和reduce任务组成的编程框架,目的是解决多机器并行协同、容错的问题。

2.步骤

1.把文件分成多个大小相同的小文件

2.主节点(main)把map任务和reduce任务分配给空闲节点

3.map工作节点处理输入,输入给自定义map函数,暂放在缓存

4.把缓存内容更新到本地磁盘,把信息通知main

5.reduce获得中间文件的数据信息对数据排序

6.reduce节点把数据输入给reduce函数

7.完成后main通知用户程序

注意:main作为map和reduce连接的通道需要维护很多信息比如文件位置,map和reduce节点的工作状态。

这个我想到了之前写的Webserver的proactor的工作模式也是把任务分成主线程和工作线程。

相关推荐
ouliten8 小时前
cuda编程笔记(37)--逐行量化的kernel分析
笔记
MimCyan8 小时前
面向开发者的 LLM 入门课程(个人笔记记录-2026.03.30)
笔记·ai
Hammer_Hans8 小时前
DFT笔记34
笔记
qcwl668 小时前
深入理解Linux进程与内存 学习笔记#4
笔记·学习
蒸蒸yyyyzwd9 小时前
后端学习笔记 day4
linux·笔记·学习
南境十里·墨染春水11 小时前
C++ 笔记 友元(面向对象)
开发语言·c++·笔记
cqbelt12 小时前
Python 并发编程实战学习笔记
笔记·python·学习
·醉挽清风·13 小时前
学习笔记—Linux—信号阻塞&信号捕捉
linux·笔记·学习
Hello_Embed13 小时前
嵌入式上位机开发入门(四):TCP 编程 —— Client 端实现
网络·笔记·网络协议·tcp/ip·嵌入式
雷工笔记14 小时前
读书笔记《工程师进阶之路》
笔记·学习