hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
历程里程碑28 分钟前
4 Git远程协作:从零开始,玩转仓库关联与代码同步(带实操代码讲解)
大数据·c++·git·elasticsearch·搜索引擎·gitee·github
AI周红伟1 小时前
周红伟:运营商一季度净利集体下滑 Token运营提速
大数据·网络·人工智能
呱呱巨基1 小时前
Linux 基础IO
linux·c++·笔记·学习
无忧智库1 小时前
研发管理的下一个十年:当多Agent协同遇上知识图谱,传统项目管理体系正在被颠覆(WORD)
大数据·人工智能·知识图谱
QFIUNE2 小时前
CD-HIT 详解:序列去冗余、安装使用与聚类结果解析
linux·服务器·机器学习·数据挖掘·conda·聚类
vortex52 小时前
XFCE 桌面环境组件详解:从面板到剪贴板管理
linux·xfce·桌面环境
汽车仪器仪表相关领域3 小时前
Kvaser Memorator Professional 5xHS CB:五通道CAN FD裸板记录仪,赋能多总线系统集成测试的旗舰级核心装备
大数据·网络·人工智能·单元测试·汽车·集成测试
勇闯逆流河3 小时前
【Linux】linux进程控制(进程池的详解与实现)
linux·运维·服务器
gQ85v10Db4 小时前
Redis分布式锁进阶第十七篇:微服务分布式锁全局治理 + 跨团队统一规范落地 + 全链路稳定性提升方案
redis·分布式·微服务
WJ.Polar4 小时前
Scapy基本应用
linux·运维·网络·python