9_Spark安装

心灵Haven2025-03-09 12:05

下载spark压缩包

通过百度网盘分享的文件：spark-2.0.2-bin-hadoop2.6.tgz

链接：https://pan.baidu.com/s/1lXPExVxxdkdx1QjiLlaorw

提取码：yc69

通过百度网盘分享的文件：scala-2.11.8.tgz

链接：https://pan.baidu.com/s/1YR4enZqTgE-Yy3Jb456JIQ

提取码：yc69

1.Scala配置

分别在master、slave1、slave2上执行。

解压Scala压缩包，进入解压后的Scala目录

pwd

vim /root/.bashrc

添加环境变量：

text 复制代码

#set scala environment
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:${SCALA_HOME}/bin
#set spark environment
export SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6
export PATH=$PATH:${SPARK_HOME}/bin

验证：

bash
scala -version

2.Spark集群配置

解压Spark压缩包

进入解压后的Spark目录

cd conf/

添加和修改slaves文件

cp slaves.template slaves
vim slaves
# 将 localhost 修改为：
slave1
slave2

添加和修改 spark-env.sh 文件

cp spark-env.sh.template spark-env.sh
vim spark-env.sh

添加配置：

text 复制代码

export SCALA_HOME=/usr/local/src/scala-2.11.8
export JAVA_HOME=/usr/local/src/jdk1.8.0_181
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_WEBUI_PORT=8989
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G

分发Spark到slave节点

# 进入 /usr/local/src 目录
scp -rp spark-2.0.2-bin-hadoop2.6/ slave1:`pwd`
scp -rp spark-2.0.2-bin-hadoop2.6/ slave2:`pwd`

3.启动集群

cd sbin/
./start-all.sh
jps

4.网页监控面板

master:8989

5.验证

进入Spark目录

# 集群 Standalone
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 ./examples/jars/spark-examples_2.11-2.0.2.jar 10
# 集群 spark on Yarn
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster ./examples/jars/spark-examples_2.11-2.0.2.jar 10