spark单机版安装

单机版安装,只需要jdk和spark, 不需要hadoop。

1. 安装JDK

2. 安装spark

2.1. 下载

下载地址见 大数据组件下载地址

2.2. 解压

复制代码
tar   -zxvf  spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1

2.3. 配置环境变量

进入/etc/profile目录下:vim /etc/profile

复制代码
#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin

2.4. 修改配置文件

进入spark的conf目录下:cd /opt/spark-2.3.1/conf/,

copy一份spark-env.sh

复制代码
cp  spark-env.sh.template spark-env.sh

然后进入vim编辑模式:

复制代码
vim  spark-env.sh

添加如下配置

复制代码
export JAVA_HOME=/usr/local/java-1.8.0------391 #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX  #将这里的xxx改为自己的Linux的ip地址

2.5. 修改slaves

copy一份slaves:cp slaves.template slaves

vi slaves

在最后面加上

localhost

3. 启动spark

进入spark的sbin目录:cd sbin/

启动spark ./start-all.sh

相关推荐
浩浩kids32 分钟前
Hadoop•踩过的SHIT
大数据·hadoop·分布式
qr9j4223336 分钟前
elasticsearch 如果按照日期进行筛选
大数据·elasticsearch·jenkins
DavidSoCool42 分钟前
es分页边界数据重复问题处理
大数据·elasticsearch·搜索引擎
路由侠内网穿透1 小时前
本地部署开源流处理框架 Apache Flink 并实现外部访问
大数据·网络协议·tcp/ip·flink·服务发现·apache·consul
qq_5470261792 小时前
Elasticsearch 正排索引
大数据·elasticsearch·jenkins
宝哥大数据4 小时前
Flinksql--订单宽表
大数据·flink
jinan8865 小时前
企业的移动终端安全怎么管理?
大数据·网络·安全·数据分析·开源软件
叶辰 .6 小时前
ES使用聚合aggregations实战(2025.04.02更新)
大数据·elasticsearch·jenkins
zxsz_com_cn6 小时前
风电行业预测性维护解决方案:AIoT驱动下的风机健康管理革命
大数据·运维·人工智能
Y1nhl8 小时前
Pyspark学习一:概述
数据库·人工智能·深度学习·学习·spark·pyspark·大数据技术