Hadoop的运行模式

Hadoop的运行模式

Hadoop有三种可以运行的模式:本地运行模式、伪分布式运行模式和完全分布式运行模式

1、本地运行模式

本地运行模式无需任何守护进程,单机运行,所有的程序都运行在同一个JVM上执行

Hadoop安装后默认为本地模式,数据存储在Linux本地。在本地模式下调试MapReduce程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用,例如,演示一下官方案例

2、伪分布式运行模式

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,数据存储在HDFS集群上;换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例

3、完全分布式运行模式

Hadoop守护进程运行在一个集群上,即多台机器上分别启动Hadoop集群,数据存在HDFS集群上,这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中

4、区别与总结

三种运行模式的区别比较如下:

项目 本地模式 伪分布式模式 完全分布式模式
fs.defaultFs file:/// hdfs://namenode/ hdfs://namenode/
机器数量 1 1 N
守护进程 / start-dfs.shstart-yarn.sh start-dfs.shstart-yarn.sh
数据存储与输出 Linux本地 HDFS集群 HDFS集群

分布式模式需要启动一些守护进程 ,即在使用分布式Hadoop时,要先启动一些准备程序(HDFS和YARN守护进程),然后才能使用;而在本地模式下,不需要启动这些守护进程,将使用本地文件系统和本地MapReduce运行器

更多内容参考:https://blog.csdn.net/m0_51111980/article/details/125733227

相关推荐
司小豆30 分钟前
第四课:Cordis 如何把插件组织成一个可运行的 Agent
大数据·人工智能
用户3610588626121 小时前
Flink基础之有界与无界流详解:批流一体的底层逻辑
大数据·flink
DPS普轩·真空灌胶机专家1 小时前
普轩科技亮相第四届西安军工展 | 真空灌胶专家,展位 2-003
大数据·人工智能·科技·机器人·pcb工艺
崖边看雾2 小时前
MySQL——SQL 经典练习题:学生选课成绩查询(附详细注释)
大数据·数据库·sql·mysql
baopixiaoz2 小时前
BeeQuant × BeeAgent:AI驱动智能交易
大数据·人工智能·python·区块链
浔溺2 小时前
al+大数据每日学习笔记33
大数据·笔记·学习
hfywmsj2 小时前
广州餐饮铺位招租的选址架构:流量入口与成本函数分析
java·大数据·jvm·广州餐饮铺位招租
ACP广源盛139246256732 小时前
M6/M5 Pro Mac mini 端侧 AI 落地@ACP#IX6024 PCIe2.0 交换芯片在轻量化 AI 服务中的机会与应用场景
大数据·数据库·人工智能·嵌入式硬件·macos·开源
my05922 小时前
跳出单一信息工具局限:奥米豆构建认知与心智并行的学习范式
大数据·人工智能·python·学习
qq_425516183 小时前
一句话生成PPT的录音APP:会议材料生成能力对比
大数据·人工智能·powerpoint