hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
Java 码农几秒前
RabbitMQ集群部署方案及配置指南04
分布式·rabbitmq
RPA机器人就选八爪鱼1 分钟前
RPA财务机器人选型攻略:5步搭建高性价比自动化体系
大数据·人工智能·机器人·自动化·rpa
予枫的编程笔记2 分钟前
Elasticsearch深度搜索与查询DSL实战:精准定位数据的核心技法
java·大数据·人工智能·elasticsearch·搜索引擎·全文检索
新钛云服2 分钟前
Grafana Polystat面板与腾讯云可观测平台的深度融合实践
大数据·云计算·腾讯云·grafana
小北方城市网2 分钟前
第 6 课:云原生架构终极落地|K8s 全栈编排与高可用架构设计实战
大数据·人工智能·python·云原生·架构·kubernetes·geo
郝学胜-神的一滴7 分钟前
深入理解Linux中的Try锁机制
linux·服务器·开发语言·c++·程序人生
独自破碎E10 分钟前
在RabbitMQ中,怎么确保消息不会丢失?
分布式·rabbitmq
Java 码农12 分钟前
RabbitMQ集群部署方案及配置指南02
分布式·rabbitmq
青主创享阁14 分钟前
技术破局农业利润困局:玄晶引擎AI数字化解决方案的架构设计与落地实践
大数据·人工智能
sim202014 分钟前
把etcd分区挂到SSD盘
linux·etcd