hadoop的运行模式

Hadoop的运行模式

hadoop一共有如下三种运行方式:

  1. 本地运行。数据存储在linux本地,测试偶尔用一下。我们上一节课使用的就是本地运行模式hadoop100。

  2. 伪分布式。在一台机器上模拟出 Hadoop 分布式系统的各个组件,各个组件在逻辑上是分离的,但是都运行在同一台物理机器上,以此来模拟分布式环境。

  3. 完全分布式。数据存储在HDFS,多台服务器工作,企业中大量使用。

要在本地去模拟这个真实的场景功能,我们需要做好如下的准备:

1)准备3台客户机(关闭防火墙、静态IP、主机名称)

2)安装javaJDK,安装Hadoop,并配置环境变量

3)配置集群

4)单点启动

5)配置ssh

6)群起并测试集群

其中,第1项我们在之前克隆虚拟机的环节中已经完成了。现在我们来看看按照JDK和Hadoop并配置环境变量的工作。有两种思路:

  1. 每台机器都去手动安装一次(上传jar包再去解压)。

  2. 把一台机器装好,把module 拷贝到其他的机器。这样就不需要省略了上传和解压的工作了。

scp 命令 -- 基本使用

我们在前面的课中把hadoop100上安装了java,hadoop这个两个软件,那我们要如何才能把对于的文件拷贝到hadoop101上去?

现在要学一个新的命令: scp。它可以实现服务器与服务器之间的数据拷贝。

1. 基本语法

scp -r pdir/fname user@host:pdir/fname

说明:

(1)-r: 表示递归拷贝。如果要拷贝的是文件夹,就把文件夹下的内容都拷贝

(2)pdir/fname: 要拷贝的文件路径/名称

(3)user@host:pdir/$fname: 目的地用户@主机:目的地路径/名称

注意:要输入相应的账号和密码!

相关推荐
Georgeviewer39 分钟前
商业落地评测|实体门店GEO优化性价比与服务体系深度复盘
大数据·人工智能
腻害兔2 小时前
【若依项目-产品经理视角】深度拆解 RuoYi-Vue-Pro 商城模块:从商品管理到交易引擎,50 张表撑起一整套电商系统
java·大数据·vue.js·产品经理·ai编程
GIR1232 小时前
官方出品 | 多通道土壤呼吸测量系统市场现状与十五五规划深度报告:行业分析+趋势预测全收录
大数据·人工智能·机器学习
南讯股份Nascent4 小时前
洽洽全域会员项目启动会圆满召开
大数据·人工智能
大郭鹏宇4 小时前
基于 LangGraph 构建智能分诊系统(一):项目概述与环境搭建
大数据·人工智能·microsoft·langchain
Database_Cool_5 小时前
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移
数据库·分布式·mysql
天天爱吃肉82188 小时前
【电源拆解:跟着问答逐一认识开关适配器PCB元器件】
大数据·人工智能·python·功能测试·嵌入式硬件·汽车
Elastic 中国社区官方博客8 小时前
将你的 Grafana Kubernetes 仪表板迁移到 Elastic Observability:相同的 PromQL,30 倍更快的查询
大数据·人工智能·elasticsearch·搜索引擎·容器·kubernetes·grafana
abcy0712138 小时前
storm核心实时机制
大数据·storm
灵机一物8 小时前
合伙制律所分红和提成律师个税怎么合规优化?
大数据·人工智能