hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
m0_640309303 分钟前
HarmonyOS 5.0 IoT开发实战:构建分布式智能设备控制中枢与边缘计算网关
分布式·物联网·harmonyos
heiqizero4 分钟前
spark01-创建RDD
linux·前端·python
共享家95274 分钟前
轻量级日志模块实现:策略模式 + RAII 的工程化实践
linux·运维·服务器
水木流年追梦5 分钟前
CodeTop Top 300 热门题目8-字符串解码
linux·运维·服务器·前端·算法·leetcode
杨云龙UP5 分钟前
Docker MySQL 5.7 全库备份到异地服务器实践记录_20260427
linux·运维·服务器·数据库·mysql·docker·容器
剩下了什么9 分钟前
dockerfile-知识概念介绍
linux·运维·服务器
Elastic 中国社区官方博客10 分钟前
Elasticsearch:智能搜索 - AI builder,workflow 及 skills
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
sulikey14 分钟前
个人Linux操作系统学习笔记1 - Linux权限与工具
linux·笔记·学习
Young soul215 分钟前
Elasticsearch(v8.5) 常用操作大全
大数据·elasticsearch·jenkins
乐迪信息17 分钟前
乐迪信息:精准识别每一艘船:船舶AI类型分类算法技术解析
大数据·人工智能·物联网·安全·目标跟踪·分类·数据挖掘