hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
大聪明-PLUS18 分钟前
6 个 Docker 高级功能
linux·嵌入式·arm·smarc
大佬,救命!!!18 分钟前
定时打印的练习整理
linux·服务器·python·学习笔记·学习方法·定时发送
北邮-吴怀玉27 分钟前
5.2 大数据方法论与实践指南-存储元数据治理
大数据·数据治理·元数据
半梦半醒*39 分钟前
zookeeper + kafka
linux·分布式·zookeeper·kafka·centos·运维开发
Giser探索家40 分钟前
无人机数字资产采集技术架构与实践:从多维度感知到云端化建模的实现路径
大数据·人工智能·算法·计算机视觉·分类·无人机
阿巴~阿巴~1 小时前
深入理解sigaction函数:Linux信号处理机制与使用指南
linux·运维·服务器·信号处理
_dindong1 小时前
Linux网络编程:进程间关系和守护进程
linux·运维·服务器·网络·c++·学习
人大博士的交易之路1 小时前
龙虎榜——20251028
大数据·数据挖掘·数据分析·缠论·龙虎榜·道琼斯结构
zhilin_tang1 小时前
如何写一个WebRTC ACE音频应用处理模块
linux·c语言·c++
Le1Yu2 小时前
哨兵原理、Redis分片、Redis数据结构、内存回收、缓存问题以及分布式事务相关内容(CAP、BASE、AT脏写及其解决、TCC、最大努力通知)
redis·分布式