hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
尤老师FPGA39 分钟前
petalinux修改设备树添加vdma生成linux系统
android·linux·运维
yxy___41 分钟前
达梦分布式集群DPC_重做副本-操作指南(DEM)_yxy
运维·分布式
月山知了1 小时前
linux kernel component子系统:基于rk3588 Android 14 kernel-6.1 display-subsystem代码分析
android·linux·运维
_Emma_1 小时前
【QCOM】 Linux下qcom venus 编解码驱动框架分析
linux·驱动开发·视频编解码
tctasia1 小时前
TCT Asia 2026现场观察:中国增材制造,已经进入“规模化时刻”(上)
大数据·人工智能·制造
疯狂成瘾者1 小时前
产品经理职业变迁
大数据·产品经理
不才小强2 小时前
Linux系统常用命令
linux·运维·网络
Data-Miner3 小时前
51页可编辑PPT | 农产品区块链溯源信息化平台整体解决方案
大数据
SPC的存折3 小时前
8、Ansible之Playbook---Roles
linux·服务器·ansible
Kira Skyler3 小时前
BPF KPROBE编程中的ctx是什么?
linux