hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
炸膛坦客2 小时前
Linux - Ubuntu - PC端:(三)切换中英文,Fcitx5
linux·ubuntu
聚铭网络2 小时前
聚铭网络成功入围徐州市大数据集团2026年业务类合作供应商名录(第一批次)
大数据·网络
7yewh2 小时前
jetson_yolo_deployment 01_linux_dev_env
linux·嵌入式硬件·yolo·机器人·嵌入式
cyber_两只龙宝2 小时前
【Haproxy】Haproxy的算法详解及配置
linux·运维·服务器·云原生·负载均衡·haproxy·调度算法
阿常呓语2 小时前
Linux命令 jq详解
linux·运维·shell·jq
2501_944934732 小时前
2026大专大数据科学专业未来发展空间大吗?
大数据
君生我老3 小时前
Linux 权限
linux
hy____1233 小时前
Linux_网络基础3
linux·服务器·网络
我不听你讲话3 小时前
LNMP网络服务搭建
linux·php·apache
starvapour4 小时前
将Ubuntu设置为不使用独显渲染桌面
linux·ubuntu