hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
wzl202612139 分钟前
基于规则引擎的新客欢迎语自动化:从0到1搭建智能破冰系统
大数据·运维·自动化
仗剑_走天涯10 分钟前
Hadoop 安装
大数据·hadoop·分布式
风酥糖22 分钟前
在Termux中部署一个简单的服务导航页
linux·服务器·安卓
不一样的故事12625 分钟前
软件测试在未来10年
大数据·网络·人工智能·安全
风曦Kisaki29 分钟前
# Linux进阶Day03逻辑卷管理与RAID磁盘阵列
linux·运维·5g
与数据交流的路上30 分钟前
linux-系统日志的归档
linux·运维·javascript
czlczl2002092541 分钟前
Zookeeper原理
分布式·zookeeper·云原生
释怀不想释怀42 分钟前
硬盘分区:fdisk
linux·运维·服务器
武子康1 小时前
大数据-254 离线数仓 - Airflow 任务调度与工作流管理实战
大数据·后端·apache hive
Astro_ChaoXu1 小时前
GAMSE使用日志与教程(高分辨率光谱数据缩减)
linux·数据库·python