hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
CHEEVEN_QY25 分钟前
搅拌摩擦焊FSW工艺参数对焊缝成形影响的实验研究10.1
linux·服务器·数据库
H.莓飛41 分钟前
【数据结构】链表_OJ题
linux·数据结构·算法·链表
W***25921 小时前
2026深度解读:Work Agent长程任务的执行机制与落地能力
大数据·人工智能
木白CPP1 小时前
USB(一): USB 概述&&介绍
linux·网络·嵌入式硬件
熬夜敲代码的猫1 小时前
Linux:进程概念
linux
刘胡子大叔1 小时前
1Panel 部署 ThinkPHP8 踩坑实录
linux·ubuntu
卷毛迷你猪1 小时前
快速实验篇(B07 )Session 会话化与序列
大数据·hive·hadoop
anew___1 小时前
《从零手写操作系统 (21):用户态C运行时——从裸ELF到printf》
linux·服务器·c语言
卷毛迷你猪2 小时前
快速实验篇(B08)搜索词分析实战
大数据·hive·hadoop
jackletter2 小时前
linux:systemd之守护进程
linux·运维·服务器·systemd