hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
是阿威啊2 分钟前
【用户行为归因分析项目】- 【企业级项目开发第三站】模拟DIM层设备、应用数据加载到Hive
数据仓库·hive·hadoop
山上春5 分钟前
Odoo 分布式单体与微服务模式深度对比研究报告
分布式·微服务·架构
左灯右行的爱情7 分钟前
Kafka专辑 : 生产者写入路径
分布式·kafka·linq
赵民勇11 分钟前
tr命令用法详解与技巧总结
linux·shell
学不完的路路路11 分钟前
IMX6ULL开发板固件烧录问题:添加设备树节点不成功
linux·ubuntu·设备树
小北方城市网13 分钟前
第 3 课:前后端全栈联动核心 —— 接口规范 + AJAX + 跨域解决(打通前后端壁垒)
java·大数据·网络·python
大柏怎么被偷了20 分钟前
【Linux】进程间通信
linux·运维·服务器
quweiie20 分钟前
centOS stream 9 安装rabbitMQ4.2
centos·rabbitmq
数智顾问22 分钟前
(111页PPT)华为业务变革框架及战略级项目管理(附下载方式)
大数据·运维·华为
Howrun77728 分钟前
Linux进程通信---6.1---进程信号屏蔽
linux·服务器