hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
xcLeigh几秒前
Oracle 迁移深度复盘:多数据库选型决策全解析
大数据·数据库·sql·oracle·数据迁移·数据管理
大灰狼来喽5 分钟前
OpenClaw 自动化工作流实战:用 Hooks + 定时任务 + Multi-MCP 构建“数字员工“
大数据·运维·人工智能·自动化·aigc·ai编程
2401_840192278 分钟前
监控的作用
分布式·kubernetes
迈巴赫车主10 分钟前
大数据:Hadoop(HDFS)
大数据·hadoop·hdfs
hf20001212 分钟前
零成本迁移,原地加速,成本降低60%:火花思维基于云器Lakehouse升级实践
大数据·分布式·spark·lakehouse
珠海西格电力21 分钟前
零碳园区能源互联的落地保障措施
大数据·运维·网络·人工智能·能源
Alphapeople22 分钟前
安装华为CANN模型导出工具
linux·运维·服务器
-森屿安年-24 分钟前
Linux - 进程
linux·操作系统
rgb2gray25 分钟前
从轨迹到网络:广州休闲步行空间格局刻画 | 论文全解析与方法论深度拆解
大数据·人工智能·机器学习·语言模型·可解释