hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
乱蜂朝王7 小时前
Ubuntu 20.04安装CUDA 11.8
linux·运维·ubuntu
梁洪飞8 小时前
clk学习
linux·arm开发·嵌入式硬件·arm
~光~~9 小时前
【嵌入式linux驱动——点亮led】基于鲁班猫4 rk3588s
linux·点灯·嵌入式linux驱动
小鸡脚来咯9 小时前
Git 新手入门指南
大数据·git·elasticsearch
yuanmenghao9 小时前
车载Linux 系统问题定位方法论与实战系列 - 车载 Linux 平台问题定位规范
linux·运维·服务器·网络·c++
vQAvXEsg9 小时前
基于遗传算法的电动汽车有序充放电优化探索
centos
qq_5895681010 小时前
centos6.8镜像源yum install不成功,无法通过镜像源下载的解决方式
linux·运维·centos
weixin_5160230711 小时前
linux下fcitx5拼音的安装
linux·运维·服务器
hunter145012 小时前
Linux 进程与计划任务
linux·运维·服务器
楼田莉子12 小时前
Linux学习之磁盘与Ext系列文件
linux·运维·服务器·c语言·学习