hadoop的MapReduce

1.什么是计算(广义): 内容分析, 得到需要的结果

也就是一系列, 基于数据得出的结论。 这些就是我们所说的计算。

2.分布式计算模式:

一:分散-汇总模式:数据分片,多个服务器负责各个部分数据处理,最后结果汇总

二:中心调度模式: 1. 由一个节点作为中心调度管理者 2. 将任务划分为几个具体步骤 3. 管理者安排每个机器执行任务 4. 最终得到结果数据

3.MapReduce(hadoop的计算组件)(hive的底层工具)

一:利用的是分散-汇总模式

二:编程接口:map(分散)与reduce(汇总)

相关推荐
ltl5 小时前
校验和与数据完整性:CRC32C、xxHash 与端到端校验
linux
我是小灰灰吖6 小时前
Ubuntu 22.04 设置 CPU 性能模式:提升系统响应速度
linux·ubuntu
ltl6 小时前
持续性能分析:Parca、Pyroscope、Grafana Beyla
linux
ltl6 小时前
Direct I/O 与 O_DIRECT:绕过缓存的得与失
linux
大大大大晴天6 小时前
聊聊Starrocks的数据导入与避坑实践
大数据
weikecms6 小时前
星巴克API接口,星巴克点餐接口开发
大数据·小程序
派拉软件6 小时前
派拉AIGS应用场景解析:在客户实际环境中,AI Agent如何做到“可控、可管、可审“
大数据·人工智能
盐焗鹌鹑蛋7 小时前
【Linux】进程控制
linux
appsvip7 小时前
企业内部沟通社区怎么搭建?从选型到落地的完整方案
大数据
汇策研习社7 小时前
双指标共振交易体系:GMMA趋势骨架 + MACD动能验证实战全解
大数据·人工智能·信息可视化·金融·区块链·fastbull