hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
Boop_wu42 分钟前
[Java 算法] 字符串
linux·运维·服务器·数据结构·算法·leetcode
SkyXZ~3 小时前
Jetson有Jtop,Linux有Htop,RDK也有Dtop!
linux·运维·服务器·rdkx5·rdks100·dtop
Elastic 中国社区官方博客3 小时前
通过自主 IT 平台和 Elastic 迈出可观测性的下一步
大数据·elasticsearch·搜索引擎·全文检索·可用性测试
starvapour4 小时前
Ubuntu系统下基于终端的音频相关命令
linux·ubuntu·音视频
杨云龙UP4 小时前
Oracle Data Pump实战:expdp/impdp常用参数与导入导出命令整理_20260406
linux·运维·服务器·数据库·oracle
浪客灿心4 小时前
线程同步与互斥
linux
一个有温度的技术博主5 小时前
Redis AOF持久化:用“记账”的方式守护数据安全
redis·分布式·缓存
成长之路5146 小时前
【数据集】A股上市公司深度合成算法业务数据(2001-2024)
大数据
牛马鸡niumasi6 小时前
C/C++ 程序编译过程、静态/动态链接、静态/动态库
linux
捧月华如7 小时前
Linux 系统性能压测工具全景指南(含工程实战)
linux·运维·服务器