Linux操作系统:Spark在虚拟环境下的安装及部署

将Spark安装到指定目录

复制代码
// 通过wget下载Spark安装包
$ wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 
// 将spark解压到安装目录
$ tar --zxvf spark-2.1.1-bin-hadoop2.7.tgz --C /usr/local/
// 重命名
$ mv /usr/local/spark-2.1.1-bin-hadoop2.7 /usr/local/spark

设置Spark配置文件

修改 slave 配置文件

复制代码
$ vim /usr/local/conf/slaves

localhost # 在文件最后将本机主机名将那些添加

修改 Spark-Env 配置文件

复制代码
$ cd /usr/local/spark
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 
$ vim ./conf/spark-env.sh
SPARK_MASTER_HOST=localhost       #添加spark master的主机名
SPARK_MASTER_PORT=7077        #添加spark master的端口号
export JAVA_HOME=/usr/local/java/jdk1.8.0_162           #添加javahome

如果没有JDK可以安装JDK!!!

启动和关闭Spark服务

启动Spark集群

复制代码
$ cd /usr/local/spark
$ ./sbin/start-all.sh

// 访问Spark 集群,浏览器访问 http://localhost:8080

关闭 Spark 集群

复制代码
$ cd /usr/local/spark
$ ./sbin/stop-all.sh
相关推荐
古希腊数通小白(ip在学)3 小时前
stp拓扑变化分类
运维·服务器·网络·智能路由器
Muxiyale4 小时前
使用spring发送邮件,部署ECS服务器
java·服务器·spring
l1x1n05 小时前
Vim 编辑器常用操作详解(新手快速上手指南)
linux·编辑器·vim
FreeBuf_6 小时前
微软365 PDF导出功能存在本地文件包含漏洞,可泄露敏感服务器数据
服务器·microsoft·pdf
lixzest7 小时前
C++ Lambda 表达式详解
服务器·开发语言·c++·算法
ajassi20007 小时前
开源 python 应用 开发(三)python语法介绍
linux·python·开源·自动化
o不ok!7 小时前
Linux面试问题-软件测试
linux·运维·服务器
DaxiaLeeSuper7 小时前
Prometheus+Grafana+node_exporter监控linux服务器资源的方案
linux·grafana·prometheus
尽兴-8 小时前
如何将多个.sql文件合并成一个:Windows和Linux/Mac详细指南
linux·数据库·windows·sql·macos
kfepiza8 小时前
Netplan 中 bridges、bonds、ethernets、vlans 之间的关系 笔记250711
linux·tcp/ip·shell