hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
TDengine (老段)6 分钟前
一文讲清 TDengine IDMP 资产数据导入
大数据·数据库·ai·时序数据库·tdengine·涛思数据
p***323514 分钟前
Linux系统离线部署MySQL详细教程(带每步骤图文教程)
linux·mysql·adb
悟能不能悟19 分钟前
在TypeScript中 const xxx=(xx:any)=>{}为什么要加any
linux·git·typescript
人大博士的交易之路24 分钟前
今日行情明日机会——20251201
大数据·数学建模·数据挖掘·数据分析·缠论·道琼斯结构·涨停板
敲代码的瓦龙29 分钟前
操作系统相关的一些问题总结
linux·c语言·开发语言
秋邱33 分钟前
技术深耕:教育 AGI 的能力跃迁与安全加固
大数据·人工智能
人工智能训练34 分钟前
Windows系统Docker中Xinference 集群无法启动的解决方法
linux·运维·服务器·windows·docker·容器·xinference
Full Stack Developme35 分钟前
Linux YUM、Docker 和源码编译
linux·运维·docker
HAPPY酷40 分钟前
技术沟通的底层逻辑:用结构化方法提升协作效率
大数据·人工智能
曾几何时`1 小时前
基于VM虚拟机 ubuntu使用主机代理
linux·服务器·ubuntu