hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
一个天蝎座 白勺 程序猿31 分钟前
大数据(4.6)Hive执行引擎选型终极指南:MapReduce/Tez/Spark性能实测×万亿级数据资源配置公式
大数据·hive·mapreduce
一條狗34 分钟前
随笔 20250402 分布式 ID 生成器 Snowflake 里面的坑
分布式
小马爱打代码37 分钟前
Kubernetes 中部署 Ceph,构建高可用分布式存储服务
分布式·ceph·kubernetes
码熔burning41 分钟前
【Spring Cloud Alibaba】:Nacos 入门讲解
分布式·spring cloud·微服务
这儿有一堆花44 分钟前
Kali Linux 2025.1a:主题焕新与树莓派支持的深度解析
linux·运维·服务器
Kusunoki_D1 小时前
使用 VIM 编辑器对文件进行编辑
linux·编辑器·vim
HelpHelp同学1 小时前
信息混乱难查找?三步搭建高效帮助中心解决难题
大数据·人工智能·知识库管理系统
东方佑4 小时前
自动调整PPT文本框内容:防止溢出并智能截断文本
linux·运维·powerpoint
zhougl9965 小时前
html处理Base文件流
linux·前端·html
泥土编程6 小时前
kubekey -实现懒人一键部署K8S集群
linux·运维