Linux操作系统:Spark在虚拟环境下的安装及部署

将Spark安装到指定目录

复制代码
// 通过wget下载Spark安装包
$ wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 
// 将spark解压到安装目录
$ tar --zxvf spark-2.1.1-bin-hadoop2.7.tgz --C /usr/local/
// 重命名
$ mv /usr/local/spark-2.1.1-bin-hadoop2.7 /usr/local/spark

设置Spark配置文件

修改 slave 配置文件

复制代码
$ vim /usr/local/conf/slaves

localhost # 在文件最后将本机主机名将那些添加

修改 Spark-Env 配置文件

复制代码
$ cd /usr/local/spark
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 
$ vim ./conf/spark-env.sh
SPARK_MASTER_HOST=localhost       #添加spark master的主机名
SPARK_MASTER_PORT=7077        #添加spark master的端口号
export JAVA_HOME=/usr/local/java/jdk1.8.0_162           #添加javahome

如果没有JDK可以安装JDK!!!

启动和关闭Spark服务

启动Spark集群

复制代码
$ cd /usr/local/spark
$ ./sbin/start-all.sh

// 访问Spark 集群,浏览器访问 http://localhost:8080

关闭 Spark 集群

复制代码
$ cd /usr/local/spark
$ ./sbin/stop-all.sh
相关推荐
YuTaoShao几秒前
【LeetCode 热题 100】994. 腐烂的橘子——BFS
java·linux·算法·leetcode·宽度优先
退役小学生呀3 分钟前
十五、K8s可观测能力:日志收集
linux·云原生·容器·kubernetes·k8s
van叶~4 分钟前
Linux探秘坊-------15.线程概念与控制
linux·运维·服务器
Andy杨2 小时前
20250718-1-Kubernetes 应用程序生命周期管理-应用部署、升级、弹性_笔记
linux·docker·容器
2301_780789664 小时前
UDP和TCP的主要区别是什么
服务器·网络协议·web安全·网络安全·udp
写写闲篇儿6 小时前
Python+MongoDB高效开发组合
linux·python·mongodb
一个龙的传说7 小时前
linux 常用命令
linux·服务器·zookeeper
Ching·9 小时前
esp32使用ESP-IDF在Linux下的升级步骤,和遇到的坑Traceback (most recent call last):,及解决
linux·python·esp32·esp_idf升级
斯是 陋室9 小时前
在CentOS7.9服务器上安装.NET 8.0 SDK
运维·服务器·开发语言·c++·c#·云计算·.net