Linux操作系统:Spark在虚拟环境下的安装及部署

将Spark安装到指定目录

复制代码
// 通过wget下载Spark安装包
$ wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz 
// 将spark解压到安装目录
$ tar --zxvf spark-2.1.1-bin-hadoop2.7.tgz --C /usr/local/
// 重命名
$ mv /usr/local/spark-2.1.1-bin-hadoop2.7 /usr/local/spark

设置Spark配置文件

修改 slave 配置文件

复制代码
$ vim /usr/local/conf/slaves

localhost # 在文件最后将本机主机名将那些添加

修改 Spark-Env 配置文件

复制代码
$ cd /usr/local/spark
$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 
$ vim ./conf/spark-env.sh
SPARK_MASTER_HOST=localhost       #添加spark master的主机名
SPARK_MASTER_PORT=7077        #添加spark master的端口号
export JAVA_HOME=/usr/local/java/jdk1.8.0_162           #添加javahome

如果没有JDK可以安装JDK!!!

启动和关闭Spark服务

启动Spark集群

复制代码
$ cd /usr/local/spark
$ ./sbin/start-all.sh

// 访问Spark 集群,浏览器访问 http://localhost:8080

关闭 Spark 集群

复制代码
$ cd /usr/local/spark
$ ./sbin/stop-all.sh
相关推荐
热爱生活的猴子2 小时前
阿里云服务器正确配置 Docker 国内镜像的方法
服务器·阿里云·docker
物联网老王4 小时前
Ubuntu Linux Cursor 安装与使用一
linux·运维·ubuntu
一位摩羯座DBA6 小时前
Redhat&Centos挂载镜像
linux·运维·centos
学习3人组6 小时前
CentOS配置网络
linux·网络·centos
计算机毕设定制辅导-无忧学长6 小时前
西门子 PLC 与 Modbus 集成:S7-1500 RTU/TCP 配置指南(一)
服务器·数据库·tcp/ip
weixin_307779137 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
漫步企鹅7 小时前
【蓝牙】Linux Qt4查看已经配对的蓝牙信息
linux·qt·蓝牙·配对
cui_win7 小时前
【网络】Linux 内核优化实战 - net.core.flow_limit_table_len
linux·运维·网络
梦在深巷、7 小时前
MySQL/MariaDB数据库主从复制之基于二进制日志的方式
linux·数据库·mysql·mariadb
冰橙子id8 小时前
linux系统安全
linux·安全·系统安全