Spark 安装(集群模式)

Spark 安装(集群模式)

实际生产环境一般不会用本地模式搭建Spark。生产环境一般都是集群模式。下面就给出了安装集群模式的步骤。

运行环境

  • 操作系统 ------ Spark一般都是部署在Linux上,这里用的是Ubuntu 14.04及以上版本,也可以使用CentOS,RedHat等Linux系统,本教程用的是 Ubuntu 系统。
  • Spark ------ Apache Spark 2.X

因为是集群模式,所以需要多个物理节点,可以使用阿里云、腾讯云。也可以在自己机器搭建虚拟机集群。

在主节点安装Spark

安装前准备

修改host文件

编辑 hosts 文件,并增加下面记录

复制代码
sudo nano /etc/hostsMASTER-IP masterSLAVE01-IP slave01SLAVE02-IP slave02

注意把 MASTER-IP、SLAVE01-IP、SLAVE02-IP 替换成你自己机器的IP地址。

安装Java 7
复制代码
sudo apt-get install python-software-propertiessudo add-apt-repository ppa:webupd8team/javasudo apt-get updatesudo apt-get install oracle-java7-installer
安装Scala
复制代码
sudo apt-get install scala
配置SSH

安装 openssh-server 和 openssh-client

生成密钥
复制代码
ssh-keygen -t rsa -P ""
配置无密码SSH

把 master 节点 .ssh/id_rsa.pub复制到 .ssh/authorized_keys。其他 Slave 节点跟 Master 一样的操作过程。

用SSH连接测试

用SSH命令连接到其他任意主机,看看是否需要密码。如果没提示输入密码,则免密码连接配置成功。

复制代码
ssh slave01ssh slave02

安装Spark

下载Spark

可以从Spark官网下载最新版本

http://spark.apache.org/downloads.html

解压tar包
复制代码
tar xzf spark-2.0.0-bin-hadoop2.6.tgz
安装配置

在用户 home 目录下编辑 .bashrc,并新增环境变量。

复制代码
export JAVA_HOME=<path-of-Java-installation> (eg: /usr/lib/jvm/java-7-oracle/)export SPARK_HOME=<path-to-the-root-of-your-spark-installation> (eg: /home/dataflair/spark-2.0.0-bin-hadoop2.6/)export PATH=$PATH:$SPARK_HOME/bin

让环境变量生效
source .bashrc

编辑 spark-env.sh
cd $SPARK_HOME/conf/

在该目录下并没有 spark-env.sh 文件,得从 spark-env.sh.tmplate 复制一个文件,文件名修改为 spark-env.sh
cp spark-env.sh.template spark-env.sh

在 spark-env.sh 新增下面的环境变量

复制代码
export JAVA_HOME=<path-of-Java-installation> (eg: /usr/lib/jvm/java-7-oracle/)export SPARK_WORKER_CORES=8

新增 Slave 节点

在 $SPARK_HOME/conf/ 目录下创建 slaves 配置文件,并在该文件写入两个节点的主机名:

复制代码
slave01slave02

在 Slave 节点安装 Spark

安装前准备

  • 编辑hosts文件
    • 安装java 7
    • 安装Scala

这些步骤跟Master的一样

把Spark安装包拷贝到所有Slave节点

先压缩安装包
tar czf spark.tar.gz spark-2.0.0-bin-hadoop2.6

把压缩好的安装包拷贝到 Slave 节点

复制代码
scp spark.tar.gz slave01:~scp spark.tar.gz slave02:~

注意:这些命令在 Master 节点执行注意:这些命令在 Master 节点执行

在Slave节点解压安装包

复制代码
tar xzf spark.tar.gz

注意:该命令在Slave节点执行

到这里,Spark 已经在 Master 和 Slave 节点安装并配置完成。可以启动 Spark 集群了。

启动Spark集群

启动Spark服务

复制代码
sbin/start-all.sh

注意:该命令在Master节点执行

检查服务是否启动成功

检查Master节点进程

复制代码
$jpsMaster

检查Slave节点进程

复制代码
$jpsWorker

Spark Web UI

spark Master节点UI界面地址和端口
http://MASTER-IP:8080/

从这里可以看到 Spark 的 Slave 节点信息,执行中的 application,集群资源等信息

spark 应用程序UI界面地址和端口
http://MASTER-IP:4040/

停止Spark集群

可以在Master执行下面命令停止Spark集群
sbin/stop-all.sh

相关推荐
数字新视界15 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术15 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康18 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI19 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk55521 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌1 天前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy19901 天前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk5551 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人1 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
筑梦之人1 天前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins