mapreduce步骤学习总结

1.定义

mapreduce是由map和reduce任务组成的编程框架,目的是解决多机器并行协同、容错的问题。

2.步骤

1.把文件分成多个大小相同的小文件

2.主节点(main)把map任务和reduce任务分配给空闲节点

3.map工作节点处理输入,输入给自定义map函数,暂放在缓存

4.把缓存内容更新到本地磁盘,把信息通知main

5.reduce获得中间文件的数据信息对数据排序

6.reduce节点把数据输入给reduce函数

7.完成后main通知用户程序

注意:main作为map和reduce连接的通道需要维护很多信息比如文件位置,map和reduce节点的工作状态。

这个我想到了之前写的Webserver的proactor的工作模式也是把任务分成主线程和工作线程。

相关推荐
東隅已逝,桑榆非晚1 分钟前
算法2. 双指针法-复写零
c++·笔记·学习·算法
云析赢指标公式网434 分钟前
文华财经指标源码笔记:WINNER筹码函数、控盘变量与MACD变体的调试记录
java·笔记·算法
无心水1 小时前
22、数学与经济管理(运筹学) 核心考点与学习笔记
人工智能·笔记·学习·架构师·软考·软考架构师·软考系统架构师
xxwl5852 小时前
Nginx 基础学习笔记
笔记·学习·nginx
January12072 小时前
【AI方法笔记】2026-11-02:模型流式吐 JSON 时,前端会遇到四种崩法
前端·人工智能·笔记·json
snysy3 小时前
# 磁盘IO性能fio测试实操笔记
笔记·磁盘io·fio
无心水4 小时前
20、大数据架构设计理论与实践 核心考点与学习笔记
大数据·笔记·学习·架构师·系统架构设计师·软考系统架构设计师·架构设计师
snysy4 小时前
WordPress伪静态404故障排查笔记
android·笔记·wordpress
Z21-X4 小时前
云原生运维实战笔记:华为云计算与网络类服务全景解析
运维·笔记·学习·云原生·华为云
半壶清水4 小时前
[软考网规考点笔记]-局域网之冗余网关技术
网络·笔记·智能路由器