spark单机版安装

单机版安装,只需要jdk和spark, 不需要hadoop。

1. 安装JDK

2. 安装spark

2.1. 下载

下载地址见 大数据组件下载地址

2.2. 解压

复制代码
tar   -zxvf  spark-2.3.1-bin-hadoop2.7.tgz
mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1

2.3. 配置环境变量

进入/etc/profile目录下:vim /etc/profile

复制代码
#Spark
export SPARK_HOME=/opt/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin

2.4. 修改配置文件

进入spark的conf目录下:cd /opt/spark-2.3.1/conf/,

copy一份spark-env.sh

复制代码
cp  spark-env.sh.template spark-env.sh

然后进入vim编辑模式:

复制代码
vim  spark-env.sh

添加如下配置

复制代码
export JAVA_HOME=/usr/local/java-1.8.0------391 #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark-2.3.1
export SPARK_MASTER_IP=XXX.XX.XX.XXX  #将这里的xxx改为自己的Linux的ip地址

2.5. 修改slaves

copy一份slaves:cp slaves.template slaves

vi slaves

在最后面加上

localhost

3. 启动spark

进入spark的sbin目录:cd sbin/

启动spark ./start-all.sh

相关推荐
island13141 小时前
【git#4】分支管理 -- 知识补充
大数据·git·elasticsearch
LCHub低代码社区1 小时前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
晴天彩虹雨2 小时前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
一个数据大开发2 小时前
解读《数据资产质量评估实施规则》:企业数据资产认证落地的关键指南
大数据·数据库·人工智能
TTBIGDATA2 小时前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成
什么芮.3 小时前
spark-streaming
pytorch·sql·spark·kafka·scala
科技在线3 小时前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
桑榆08064 小时前
Kafka简介
spark·kafka
24k小善4 小时前
Flink TaskManager详解
java·大数据·flink·云计算
时序数据说4 小时前
时序数据库IoTDB在航空航天领域的解决方案
大数据·数据库·时序数据库·iotdb