Hadoop的运行模式

Hadoop的运行模式

Hadoop有三种可以运行的模式:本地运行模式、伪分布式运行模式和完全分布式运行模式

1、本地运行模式

本地运行模式无需任何守护进程,单机运行,所有的程序都运行在同一个JVM上执行

Hadoop安装后默认为本地模式,数据存储在Linux本地。在本地模式下调试MapReduce程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用,例如,演示一下官方案例

2、伪分布式运行模式

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,数据存储在HDFS集群上;换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例

3、完全分布式运行模式

Hadoop守护进程运行在一个集群上,即多台机器上分别启动Hadoop集群,数据存在HDFS集群上,这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中

4、区别与总结

三种运行模式的区别比较如下:

项目 本地模式 伪分布式模式 完全分布式模式
fs.defaultFs file:/// hdfs://namenode/ hdfs://namenode/
机器数量 1 1 N
守护进程 / start-dfs.shstart-yarn.sh start-dfs.shstart-yarn.sh
数据存储与输出 Linux本地 HDFS集群 HDFS集群

分布式模式需要启动一些守护进程 ,即在使用分布式Hadoop时,要先启动一些准备程序(HDFS和YARN守护进程),然后才能使用;而在本地模式下,不需要启动这些守护进程,将使用本地文件系统和本地MapReduce运行器

更多内容参考:https://blog.csdn.net/m0_51111980/article/details/125733227

相关推荐
数据智能老司机28 分钟前
数据工程设计模式——数据基础
大数据·设计模式·架构
笨蛋少年派1 小时前
HDFS简介
大数据·hadoop·hdfs
Cikiss2 小时前
图解 bulkProcessor(调度器 + bulkAsync() + Semaphore)
java·分布式·后端·elasticsearch·搜索引擎
zskj_qcxjqr2 小时前
数字大健康浪潮下:智能设备重构人力生态,传统技艺如何新生?
大数据·人工智能·科技·机器人
小马爱打代码2 小时前
zookeeper:架构原理和使用场景
分布式·zookeeper·架构
Logintern092 小时前
【学习篇】Redis 分布式锁
redis·分布式·学习
1024find3 小时前
Spark on k8s部署
大数据·运维·容器·spark·kubernetes
计算机编程-吉哥12 小时前
大数据毕业设计-基于大数据的NBA美国职业篮球联赛数据分析可视化系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
计算机编程-吉哥12 小时前
大数据毕业设计-基于大数据的BOSS直聘岗位招聘数据可视化分析系统(高分计算机毕业设计选题·定制开发·真正大数据·机器学习毕业设计)
大数据·毕业设计·计算机毕业设计选题·机器学习毕业设计·大数据毕业设计·大数据毕业设计选题推荐·大数据毕设项目
RunningShare13 小时前
从“国庆景区人山人海”看大数据处理中的“数据倾斜”难题
大数据·flink