Hadoop的运行模式

Hadoop的运行模式

Hadoop有三种可以运行的模式:本地运行模式、伪分布式运行模式和完全分布式运行模式

1、本地运行模式

本地运行模式无需任何守护进程,单机运行,所有的程序都运行在同一个JVM上执行

Hadoop安装后默认为本地模式,数据存储在Linux本地。在本地模式下调试MapReduce程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用,例如,演示一下官方案例

2、伪分布式运行模式

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,数据存储在HDFS集群上;换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例

3、完全分布式运行模式

Hadoop守护进程运行在一个集群上,即多台机器上分别启动Hadoop集群,数据存在HDFS集群上,这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中

4、区别与总结

三种运行模式的区别比较如下:

项目 本地模式 伪分布式模式 完全分布式模式
fs.defaultFs file:/// hdfs://namenode/ hdfs://namenode/
机器数量 1 1 N
守护进程 / start-dfs.shstart-yarn.sh start-dfs.shstart-yarn.sh
数据存储与输出 Linux本地 HDFS集群 HDFS集群

分布式模式需要启动一些守护进程 ,即在使用分布式Hadoop时,要先启动一些准备程序(HDFS和YARN守护进程),然后才能使用;而在本地模式下,不需要启动这些守护进程,将使用本地文件系统和本地MapReduce运行器

更多内容参考:https://blog.csdn.net/m0_51111980/article/details/125733227

相关推荐
清晨00135 分钟前
工业生产实时数据获取方案-TDengine
大数据·时序数据库·tdengine
极创信息44 分钟前
信创产品认证怎么做?信创产品测试认证的主要流程
java·大数据·数据库·金融·软件工程
Elastic 中国社区官方博客1 小时前
Elastic 和 Cursor 合作 加速 上下文工程 与 coding agents
大数据·人工智能·elasticsearch·搜索引擎·全文检索
lzhdim2 小时前
SQL 入门 12:SQL 视图:创建、修改与可更新视图
java·大数据·服务器·数据库·sql
科研前沿2 小时前
镜像孪生VS视频孪生核心技术产品核心优势
大数据·人工智能·算法·重构·空间计算
lizhihai_993 小时前
股市学习心得-六张分时保命图
大数据·人工智能·学习
渣渣盟3 小时前
Flink 流处理那些事儿:状态、时间与容错
大数据·flink
CS创新实验室4 小时前
CS实验室行业报告:生物医药与生物工程行业就业分析报告
大数据·人工智能·生物医药
身如柳絮随风扬5 小时前
多数据源切换实战:从业务场景到3种实现方案全解析
java·分布式·微服务
隐于花海,等待花开6 小时前
40.RAND 函数深度解析
hive·hadoop