hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
Yyyy4824 小时前
Ubuntu安装Jenkis
linux·运维·ubuntu
旺仔Sec4 小时前
2025年安徽省职业院校技能大赛(中职组)大数据应用与服务赛项样题
大数据
zhuzewennamoamtf4 小时前
Linux SPI设备驱动
android·linux·运维
春日见4 小时前
在虚拟机上面无法正启动机械臂的控制launch文件
linux·运维·服务器·人工智能·驱动开发·ubuntu
松涛和鸣5 小时前
Linux Makefile : From Basic Syntax to Multi-File Project Compilation
linux·运维·服务器·前端·windows·哈希算法
ctrigger5 小时前
中级统计师《统计基础理论及相关》考试大纲
大数据
Predestination王瀞潞5 小时前
JDK安装及环境变量配置
java·linux·开发语言
再睡一夏就好6 小时前
深入Linux线程:从轻量级进程到双TCB架构
linux·运维·服务器·c++·学习·架构·线程
SmartBrain6 小时前
洞察:阿里通义DeepResearch 技术
大数据·人工智能·语言模型·架构
小小药6 小时前
09-vmware配置虚机连接互联网-nat模式
linux·运维·centos