MapReduce面试重点

文章目录

  • [1. 简述MapReduce整个流程](#1. 简述MapReduce整个流程)

1. 简述MapReduce整个流程

  • 数据划分(Input Splitting):开始时,输入数据被分割成逻辑上的小块,每个块被称为Input Split。

  • 映射(Map):每个Input Split 由一个或多个Map任务处理,这些任务通过映射函数(Map函数)将数据处理成中间键值对。

  • 合并(Shuffle and Sort):中间键值对被分发到不同节点,以便相同键的值能被发送到同一个Reduce任务,同时对键进行排序,确保相同的键在Reduce阶段按顺序到达。

  • 归约(Reduce):Reduce任务接收来自Map阶段的中间键值对,并根据归约函数(Reduce函数)将它们合并成更小的一组值。

  • 输出(Output):Reduce阶段生成的结果被写入输出目标,如文件系统中的文件或数据库中的表格,作为MapReduce过程的最终结果。

相关推荐
TDengine (老段)2 分钟前
TDengine STMT2 API 使用指南
java·大数据·物联网·时序数据库·iot·tdengine·涛思数据
用户Taobaoapi20141 小时前
母婴用品社媒种草效果量化:淘宝详情API+私域转化追踪案例
大数据·数据挖掘·数据分析
G皮T2 小时前
【Elasticsearch】检索排序 & 分页
大数据·elasticsearch·搜索引擎·排序·分页·检索·深度分页
小新学习屋6 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
rui锐rui6 小时前
大数据学习2:HIve
大数据·hive·学习
G皮T6 小时前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
zskj_zhyl11 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件11 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc78711 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者11 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle