hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
宅小海1 小时前
scala String
大数据·开发语言·scala
朝九晚五ฺ1 小时前
【Linux探索学习】第十四弹——进程优先级:深入理解操作系统中的进程优先级
linux·运维·学习
小白的白是白痴的白1 小时前
11.17 Scala练习:梦想清单管理
大数据
自由的dream1 小时前
Linux的桌面
linux
java1234_小锋1 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
xiaozhiwise2 小时前
Makefile 之 自动化变量
linux
谭震鸿3 小时前
Zookeeper集群搭建Centos环境下
分布式·zookeeper·centos
JessieZeng aaa4 小时前
CSV文件数据导入hive
数据仓库·hive·hadoop
意疏4 小时前
【Linux 篇】Docker 的容器之海与镜像之岛:于 Linux 系统内探索容器化的奇妙航行
linux·docker