Hadoop的运行模式

Hadoop的运行模式

Hadoop有三种可以运行的模式:本地运行模式、伪分布式运行模式和完全分布式运行模式

1、本地运行模式

本地运行模式无需任何守护进程,单机运行,所有的程序都运行在同一个JVM上执行

Hadoop安装后默认为本地模式,数据存储在Linux本地。在本地模式下调试MapReduce程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用,例如,演示一下官方案例

2、伪分布式运行模式

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,数据存储在HDFS集群上;换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例

3、完全分布式运行模式

Hadoop守护进程运行在一个集群上,即多台机器上分别启动Hadoop集群,数据存在HDFS集群上,这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中

4、区别与总结

三种运行模式的区别比较如下:

项目 本地模式 伪分布式模式 完全分布式模式
fs.defaultFs file:/// hdfs://namenode/ hdfs://namenode/
机器数量 1 1 N
守护进程 / start-dfs.sh、start-yarn.sh等 start-dfs.sh、start-yarn.sh等
数据存储与输出 Linux本地 HDFS集群 HDFS集群

分布式模式需要启动一些守护进程 ,即在使用分布式Hadoop时,要先启动一些准备程序(HDFS和YARN守护进程),然后才能使用;而在本地模式下,不需要启动这些守护进程,将使用本地文件系统和本地MapReduce运行器

更多内容参考:https://blog.csdn.net/m0_51111980/article/details/125733227

相关推荐
燧机科技SuiJi2 小时前
山体坍塌落石滑坡泥石流监测系统 落石泥石流监控摄像机
大数据·人工智能·深度学习·yolo
AOI小白新手上路4 小时前
autodl常用的tar 打包下载(数据集)命令手册:逐段拆解与套用模板
java·大数据·数据库
TMT星球5 小时前
工博会2026丨它石智航联合创始人陈同庆:从模型到产线,让机器人在真实场景创造真实价值
大数据·人工智能
2401_865261637 小时前
亦唐科技:大数据如何驱动精准商业决策
大数据·科技
xiaomuzuirenzhen8 小时前
2027秋招项目复盘:数据科学与大数据技术专业如何从代码实现讲到业务价值
大数据
派小心.8 小时前
网站统计采样数据的误差核对
大数据·服务器·前端·数据库·人工智能·小程序·数据分析
JAVA_AI人工智能项目实战9 小时前
大模型结构演进.学习笔记
大数据·人工智能·语言模型·架构
donk13149 小时前
React Native for OpenHarmony 实战:三方库 react-native-step-indicator 的鸿蒙化适配指南
分布式·react native·react.js·wpf·harmonyos
古法老登瞎折腾10 小时前
大数据智能运维实战(二):准备一个可复现的运维实验环境
java·大数据·运维·spring ai·mcp
数字新视界10 小时前
机房动环监控助力智能管理
大数据·服务器·数据库·动环监控系统·动力与环境监控系统