hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
SCandL15211 分钟前
安全上下文的修改实验
linux
ragnwang16 分钟前
Ubuntu /home 分区安全扩容教程
linux·运维·ubuntu
Azure++23 分钟前
Centos安装clickhouse
linux·clickhouse·centos
濊繵23 分钟前
Linux网络--应用层自定义协议与序列化
linux·服务器·网络
智海观潮36 分钟前
Hive经典面试题之连续登录、行转列和列转行
数据仓库·hive·hadoop
Roye_ack1 小时前
【黑马点评 - 高级篇】Redis分布式缓存原理(Redis持久化 RDB AOF + 主从集群 哨兵 分片集群 + 多级缓存)
redis·分布式·缓存·aof·redis持久化·rdb·redis主从哨兵分片集群
b***59431 小时前
分布式WEB应用中会话管理的变迁之路
前端·分布式
Z_Easen1 小时前
RabbitMQ 技术深度解析:从核心概念到可靠性实践
分布式·rabbitmq
潇凝子潇1 小时前
Linux 服务器实时监控Shell 脚本
linux·服务器·chrome
顾安r1 小时前
11.21 脚本 网页优化
linux·前端·javascript·算法·html