hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
微光闪现5 小时前
AI识别宠物焦虑、紧张和晕车行为,是否已经具备实际可行性?
大数据·人工智能·宠物
张太行_6 小时前
Linux静态库:多模块高效管理
linux·运维·服务器
公子烨6 小时前
linux的斩杀线之OOM操控
linux
wgl6665207 小时前
Linux---基础IO!
linux·运维·服务器
Ancelin安心7 小时前
kali-dirsearch的使用
linux·运维·服务器·python·计算机网络·web安全·网络安全
IT利刃出鞘8 小时前
VMware--解决vmdk越来越大的问题(vmdk瘦身)
linux·ubuntu·vmware
大厂技术总监下海8 小时前
“Today I Learned”(TIL):一种比写博客更可持续的知识沉淀习惯
大数据·开源·github
wdfk_prog8 小时前
[Linux]学习笔记系列 -- [driver]base
linux·笔记·学习
月光下的麦克8 小时前
如何查案动态库版本
linux·运维·c++
Vallelonga8 小时前
使用 busybox 制作磁盘镜像文件
linux·经验分享