hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
cyber_两只龙宝10 分钟前
【Keepalived】抢占模式、延迟抢占模式与非抢占模式详解
linux·运维·服务器·keepalived
九河云13 分钟前
边缘计算与云协同:5G时代企业IT架构的新布局
大数据·5g·架构·边缘计算·数字化转型
飞Link24 分钟前
告别 ROS 的臃肿:用 ZeroMQ 构建极速具身智能分布式大脑(附 Python 实战)
开发语言·分布式·python
REDcker25 分钟前
CentOS 与主流 Linux 发行版历史与版本综述
linux·centos·numpy
逻辑峰35 分钟前
ReadStat在Linux的安装和使用
linux·运维·服务器
Promise微笑37 分钟前
智慧水务管网漏损防控:水务噪声记录仪选购与采买深度解析
大数据
Lsir10110_1 小时前
【Linux】序列化与反序列化——网络计算器的实现
linux·运维·网络
WLJT1231231231 小时前
烟火藏洁净 好物护家园
大数据·人工智能·科技·生活
智慧化智能化数字化方案1 小时前
数字化进阶——解读场景化、图谱化推进重点行业数字化转型的参考指引(2025版)
大数据·人工智能·云计算·行业数字化转型的参考指引
会算数的⑨1 小时前
演进——从查日志到 AI 自治,企业监控体系的变迁
人工智能·分布式·后端·微服务·云原生