hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
妄想出头的工业炼药师2 分钟前
cuda如何安装卸载
linux·运维·服务器
柳鲲鹏14 分钟前
LINUX下载编译libcamera
linux·运维·服务器
Embedded-Xin28 分钟前
Linux架构优化——spdlog实现压缩及异步写日志
android·linux·服务器·c++·架构·嵌入式
Once_day30 分钟前
Linux之netfilter(1)基础介绍
linux·netfilter
遇见火星41 分钟前
Linux下挂载磁盘相关命令
linux·运维·服务器·磁盘·lsblk·fdisk
熊文豪1 小时前
【前瞻创想】Kurator:站在巨人肩膀上的分布式云原生创新实践
分布式·云原生·kurator
郝学胜-神的一滴1 小时前
Linux信号屏蔽字详解:原理、应用与实践
linux·服务器·开发语言·c++·程序人生
盟接之桥1 小时前
盟接之桥说制造:“盟接之桥”为何成了“断桥”?——制造企业困局突围的三重思考
大数据·人工智能·物联网·产品运营·制造
神秘奇男子1 小时前
openEuler 25.09 企业级 MySQL主从复制部署与性能优化实战提升50%
linux·mysql
五度易链-区域产业数字化管理平台1 小时前
如何构建高质量产业数据信息库?五度易链的“八大核心库”与数据治理实践
大数据·人工智能