hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
Wang's Blog几秒前
Kafka: 生产者(Producer)核心机制
分布式·kafka
LaoWaiHang1 分钟前
Linux操作环境的获得
linux
与遨游于天地2 分钟前
日志系统 Kafka 积压处理有效方案
经验分享·分布式·kafka
Elastic 中国社区官方博客2 分钟前
使用 Elasticsearch 的 Profile API 对比 dense vector 搜索性能
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
是Judy咋!3 分钟前
Elasticsearch---集群部署(SSL + X-Pack)
大数据·elasticsearch·ssl
Dxy12393102163 分钟前
Elasticsearch 8.13.4 常用搜索操作完全指南
大数据·elasticsearch
leo_2325 分钟前
从开发语言角度来谈谈SMP(下)--SMP(软件制作平台)语言基础知识之十三
linux·运维·开发语言·开发工具·smp(软件制作平台)·应用系统
Lynnxiaowen7 分钟前
今天我们继续DevOps内容Jenkins自动化部署PHP项目
linux·自动化·jenkins·php·devops
samFuB7 分钟前
【实证分析】数智化转型对企业新质生产力的影响研究(2015-2023年)
大数据