hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
m0_7482400244 分钟前
Python大数据可视化:基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
大数据·python·信息可视化
guoguoqiang.44 分钟前
我与Linux的爱恋:了解信号量+共享内存+消息队列的应用
linux·运维·服务器
沐千熏1 小时前
安装Liunx(CentOS-6-x86_64)系统
linux·centos
fusugongzi2 小时前
clickhouse集群搭建
linux·服务器·clickhouse
nangonghen2 小时前
Flink JobManager不稳定的典型情景
大数据·flink
yuanbenshidiaos2 小时前
【僵尸进程】
linux·服务器·网络
Oracle_6662 小时前
《Linux 指令集:开启极客世界的钥匙_01》
linux·运维·前端
猫猫的小茶馆2 小时前
【网络编程】UNIX 域套接字(Unix Domain Sockets, UDS)
linux·网络·网络协议·udp·unix·信息与通信
想要变瘦的小码头2 小时前
flume
大数据·flume
指尖下的技术2 小时前
Kafka面试题----Kafka是如何保证顺序消费的
分布式·kafka·linq