9_Spark安装

下载spark压缩包

通过百度网盘分享的文件:spark-2.0.2-bin-hadoop2.6.tgz

链接:https://pan.baidu.com/s/1lXPExVxxdkdx1QjiLlaorw

提取码:yc69

通过百度网盘分享的文件:scala-2.11.8.tgz

链接:https://pan.baidu.com/s/1YR4enZqTgE-Yy3Jb456JIQ

提取码:yc69

1.Scala配置
  • 分别在master、slave1、slave2上执行。

解压Scala压缩包,进入解压后的Scala目录

pwd

复制代码
vim /root/.bashrc

添加环境变量:

text 复制代码
#set scala environment
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:${SCALA_HOME}/bin
#set spark environment
export SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6
export PATH=$PATH:${SPARK_HOME}/bin

验证:

复制代码
bash
scala -version
2.Spark集群配置

解压Spark压缩包

进入解压后的Spark目录

cd conf/

添加和修改slaves文件
复制代码
cp slaves.template slaves
vim slaves
# 将 localhost 修改为:
slave1
slave2
添加和修改 spark-env.sh 文件
复制代码
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

添加配置:

text 复制代码
export SCALA_HOME=/usr/local/src/scala-2.11.8
export JAVA_HOME=/usr/local/src/jdk1.8.0_181
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_WEBUI_PORT=8989
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G
分发Spark到slave节点
复制代码
# 进入 /usr/local/src 目录
scp -rp spark-2.0.2-bin-hadoop2.6/ slave1:`pwd`
scp -rp spark-2.0.2-bin-hadoop2.6/ slave2:`pwd`
3.启动集群
复制代码
cd sbin/
./start-all.sh
jps
4.网页监控面板

master:8989

5.验证

进入Spark目录

复制代码
# 集群 Standalone
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 ./examples/jars/spark-examples_2.11-2.0.2.jar 10
# 集群 spark on Yarn
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster ./examples/jars/spark-examples_2.11-2.0.2.jar 10

相关推荐
阿里云大数据AI技术1 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技1 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
stark张宇3 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
yyk333244 小时前
Flink详细讲解
大数据·flink
用户46043852250866 小时前
关于paimon-rust 数据写入链路
大数据
数字融合7 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏8 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研8 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏9 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
时间的拾荒人9 小时前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构