Linux安装 spark 教程详解

目录

[一 准备安装包](#一 准备安装包)

[二 安装 scala](#二 安装 scala)

[三 修改配置文件](#三 修改配置文件)

[1)修改 workers 文件](#1)修改 workers 文件)

[2)修改 spark-env.sh文件](#2)修改 spark-env.sh文件)

[四 进入 spark 交互式平台](#四 进入 spark 交互式平台)


一 准备安装包

可以自行去 spark 官网下载想要的版本

这里准备了 spark3.1.2的网盘资源

链接: https://pan.baidu.com/s/1Brm6XqaqYQnXQwOd8mUt7A?pwd=2bye 提取码: 2bye

下载后上传至 linux 服务器上

这里放在了 /opt/install 目录

解压至 /opt/soft 目录

复制代码
tar -zxf /opt/install/spark-3.1.2-bin-hadoop3.2.tgz -C /opt/soft/

改个名

复制代码
cd /opt/soft

mv spark-3.1.2-bin-hadoop3.2/ spark312

修改一下环境变量

复制代码
#SPARK_HOME
export SPARK_HOME=/opt/soft/spark312
export PATH=$SPARK_HOME/bin:$PATH

二 安装 scala

安装过scala的 朋友可以跳过此步骤

scala 的安装比较简单,spark 的运行环境需要 scala

这里同样准备了网盘资源

链接: https://pan.baidu.com/s/1ua01OvTYjFQyG82AG1g1yg?pwd=imc6 提取码: imc6

下载后上传至 linux 服务器上

这里放在了 /opt/install 目录

解压至 /opt/soft 目录

复制代码
tar -zxf /opt/install/scala-2.12.10.tgz -C /opt/soft/

解压后改个名

复制代码
mv scala-2.12.10/ scala212

修改环境变量,末尾添加下面内容

复制代码
#SCALA_HOME
export SCALA_HOME=/opt/soft/scala212
export PATH=$SCALA_HOME/bin:$PATH

修改后保存退出,source一下

复制代码
 source /etc/profile

三 修改配置文件

进入 spark312/conf 目录

将 两个临时文件cp 一下

复制代码
cp spark-env.sh.template spark-env.sh

cp workers.template workers

1)修改 workers 文件

复制代码
vim workers

由于这里就是单机版,所以就不做修改

2)修改 spark-env.sh文件

复制代码
vim spark-env.sh

添加配置,这里根据自己的各个安装包的位置来

复制代码
export SCALA_HOME=/opt/soft/scala212
export JAVA_HOME=/opt/soft/jdk180
export SPARK_HOME=/opt/soft/spark312
export HADOOP_INSTALL=/opt/soft/hadoop313
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export SPARK_MASTER_IP=172.25.38.169
export SPARK_DRIVER_MEMORY=2G
export SPARK_EXECUTOR_MEMORY=2G
export SPARK_LOCAL_DIRS=/opt/soft/spark312

四 进入 spark 交互式平台

输入命令回车

复制代码
 spark-shell

未给参数默认等同于下面的命令

复制代码
spark-shell --master local[*]

创建一个 RDD

复制代码
sc.parallelize(1 to 10,3)
相关推荐
大大大大晴天3 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界8 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天8 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城10 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55510 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证10 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读12 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI12 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199013 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli13 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark