hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
G_H_S_3_19 分钟前
【网络运维】Docker 存储:镜像层与数据卷的管理应用
linux·运维·网络·docker
召田最帅boy1 小时前
centos7安装Redis6并设置密码
redis·centos
字节数据平台2 小时前
评测也很酷,Data Agent 自动化评测的三层框架与实战
大数据
Elastic 中国社区官方博客2 小时前
Elasticsearch:圣诞晚餐 BBQ - 图像识别
大数据·数据库·elasticsearch·搜索引擎·ai·全文检索
Macbethad2 小时前
数据挖掘实战项目:用户行为分析模型技术报告
大数据
LINGYI0002 小时前
品牌电商全域代运营公司——简述
大数据·全域电商
还鮟3 小时前
靶机远程控制实验命令与入门实践(Linux)
linux·网络·安全
努力成为一个程序猿.3 小时前
1.ElasticSearch单节点部署
大数据·elasticsearch·搜索引擎
手揽回忆怎么睡3 小时前
Alibaba Linux 8安装jdk25
linux·运维·服务器
爱潜水的小L4 小时前
自学嵌入式day39,抓包
linux