Hadoop的运行模式

Hadoop的运行模式

Hadoop有三种可以运行的模式:本地运行模式、伪分布式运行模式和完全分布式运行模式

1、本地运行模式

本地运行模式无需任何守护进程,单机运行,所有的程序都运行在同一个JVM上执行

Hadoop安装后默认为本地模式,数据存储在Linux本地。在本地模式下调试MapReduce程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用,例如,演示一下官方案例

2、伪分布式运行模式

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,数据存储在HDFS集群上;换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例

3、完全分布式运行模式

Hadoop守护进程运行在一个集群上,即多台机器上分别启动Hadoop集群,数据存在HDFS集群上,这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中

4、区别与总结

三种运行模式的区别比较如下:

项目 本地模式 伪分布式模式 完全分布式模式
fs.defaultFs file:/// hdfs://namenode/ hdfs://namenode/
机器数量 1 1 N
守护进程 / start-dfs.shstart-yarn.sh start-dfs.shstart-yarn.sh
数据存储与输出 Linux本地 HDFS集群 HDFS集群

分布式模式需要启动一些守护进程 ,即在使用分布式Hadoop时,要先启动一些准备程序(HDFS和YARN守护进程),然后才能使用;而在本地模式下,不需要启动这些守护进程,将使用本地文件系统和本地MapReduce运行器

更多内容参考:https://blog.csdn.net/m0_51111980/article/details/125733227

相关推荐
TG:@yunlaoda360 云老大18 分钟前
阿里云国际站代理商RPA跨境服务的适用场景有哪些?
大数据·阿里云·rpa
古城小栈41 分钟前
.proto文件:跨语言通信 的 协议基石
分布式·微服务
微盛企微增长小知识42 分钟前
2025企业微信服务商测评:头部服务商微盛AI·企微管家技术实力与落地效果解析
大数据·人工智能·企业微信
TMO Group 探谋网络科技1 小时前
AI电商的应用:Magento 使用 Adobe 生成式 AI改造7大业务场景
大数据·人工智能·adobe·ai
UI设计兰亭妙微1 小时前
理性数据,温柔体验:北京兰亭妙微解码 Hydra Corps. 企业管理界面的 “松弛感设计”
大数据·人工智能·用户体验设计
慎独4131 小时前
家家有:从单向支出到价值循环,绿色积分如何 重构商业逻辑?
大数据·人工智能
梦里不知身是客111 小时前
flink使用 DefaultResourceCalculator(默认资源计算器) 策略
大数据·flink
五度易链-区域产业数字化管理平台2 小时前
十五五规划明确数智方向数字经济将迎新变化,五度易链大数据、AI技术如何从单点应用走向全域赋能
大数据·人工智能
zhongerzixunshi2 小时前
高新技术企业认定成功后,企业能享受哪些政策优惠
大数据·人工智能
小王不爱笑1322 小时前
Git 从初始化到远程推送完整实操笔记
大数据·elasticsearch·搜索引擎