hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
好好学习啊天天向上3 小时前
C盘容量不够,python , pip,安装包的位置
linux·python·pip
li_wen013 小时前
文件系统(八):Linux JFFS2文件系统工作原理、优势与局限
大数据·linux·数据库·文件系统·jffs2
wypywyp3 小时前
2.虚拟机一直显示黑屏,无法打开,可能是分配的硬盘空间不够
linux·运维·服务器
SongYuLong的博客4 小时前
TL-WR710N-V2.1 硬改刷机OpenWRT源码编译固件
linux·物联网·网络协议
AlfredZhao4 小时前
Docker 快速入门:手把手教你打包 Python 应用
linux·docker·podman
HIT_Weston5 小时前
107、【Ubuntu】【Hugo】搭建私人博客:模糊搜索 Fuse.js(三)
linux·javascript·ubuntu
昨夜见军贴06165 小时前
IACheck AI审核在生产型企业质量控制记录中的实践探索——全面赋能有关物质研究合规升级
大数据·人工智能
盖雅工场5 小时前
驱动千店销售转化提升10%:3C零售门店的人效优化实战方案
大数据·人工智能·零售·数字化管理·智能排班·零售排班
发哥来了5 小时前
【AI视频创作】【评测】【核心能力与成本效益】
大数据·人工智能
艾莉丝努力练剑5 小时前
【优选算法必刷100题】第007~008题(双指针算法):三数之和、四数之和问题求解
linux·算法·双指针·优选算法