【hadoop】Spark的安装部署

一、单机模式

步骤:

1、使用XFTP将Spark安装包spark-2.4.8-bin-hadoop2.7.tgz发送到master机器的主目录。

2、解压安装包:

复制代码
tar -zxvf ~/spark-2.4.8-bin-hadoop2.7.tgz

3、修改文件夹的名字,将其改为flume,或者创建软连接也可:

复制代码
mv ~/spark-2.4.8-bin-hadoop2.7 ~/spark

4、开箱即用;

二、Spark Standalone模式集群

步骤:

1、使用vim命令配置Spark的环境配置文件,原本应是不存在的:

复制代码
cd ~/spark/conf

vim spark-env.sh

配置内容如下(注意此处的所有路径、主机名):

复制代码
# jdk安装目录

export JAVA_HOME=/home/hadoop/jdk1.8.0_311

# Hadoop配置文件目录

export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.9.2/etc/hadoop

# Hadoop根目录

export HADOOP_HOME=/home/hadoop/hadoop-2.9.2

# Web UI端口号

SPARK_MASTER_WEBUI_PORT=8888

# 配置ZooKeeper

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/myspark"

修改完后保存。

2、配置slaves:

复制代码
vim slaves

添加以下内容:

复制代码
master

slave1

slave2

3、接着把配置好的Spark安装目录使用scp命令发送到其他节点:

复制代码
scp -r ~/spark hadoop@slave1:~

scp -r ~/spark hadoop@slave2:~

4、启动ZooKeeper,略;

5、在master节点上,带路径启动Spark集群:

复制代码
~/spark/sbin/start-all.sh

测试

浏览器输入:master:8888,如下:

三、Spark on YARN模式

实际上,Spark on YARN模式,即把Spark应用程序跑在YARN集群之上,通过第二节配置好Spark Standalone模式后,已经可以在任意节点上,执行spark-submit脚本把任务提交至YARN实现Spark on YARN。而区别就是使用这种方式提交任务的话,就不需要启动Spark集群了。

相关推荐
TDengine (老段)6 分钟前
TDengine 时间函数 TODAY() 用户手册
大数据·数据库·物联网·oracle·时序数据库·tdengine·涛思数据
悟乙己38 分钟前
数据科学家如何更好地展示自己的能力
大数据·数据库·数据科学家
东哥说-MES|从入门到精通1 小时前
Mazak MTF 2025制造未来参观总结
大数据·网络·人工智能·制造·智能制造·数字化
盟接之桥1 小时前
盟接之桥说制造:在安全、确定与及时之间,构建品质、交期与反应速度的动态平衡
大数据·运维·安全·汽车·制造·devops
链上日记2 小时前
STC携手VEX发起全球首个碳资产RWA生态,泰国峰会即将引爆绿色金融
大数据
用户Taobaoapi20142 小时前
京东商品列表API(JD.item_search)
大数据·数据挖掘·数据分析
用户Taobaoapi20143 小时前
京东商品评论API开发指南
大数据·数据挖掘·数据分析
微三云-轩3 小时前
小程序:12亿用户的入口,企业数字化的先锋军
大数据·小程序·开源软件
数据智研3 小时前
【数据分享】上市公司数字化转型相关词频统计数据(2000-2024)
大数据·数据分析
zskj_zhyl4 小时前
七彩喜智慧养老:科技向善,让“养老”变“享老”的智慧之选
大数据·人工智能·科技·物联网·机器人