伪分布式Spark集群搭建

一、软件环境

|-------------|-------------|---------------------------------------------|
| 软 件 | 版 本 | 安 装 包 |
| VMware虚拟机 | 16 | VMware-workstation-full-16.2.2-19200509.exe |
| SSH连接工具 | | FinalShell |
| Linux OS | CentOS7.5 | CentOS-7.5-x86_64-DVD-1804.iso |
| JDK | 1.8 | jdk-8u161-linux-x64.tar.gz |
| Spark | 3.2.1 | spark-3.2.1-bin-hadoop2.7.tgz |

二、实训操作步骤

技能点1:Final Shell连接虚拟机

①打开虚拟机终端,输入命令ifconfig,查看虚拟机的IP地址。

②打开Final Shell,进行SSH连接虚拟机。

③设置IP地址,使用root账户和密码进行连接登录。

技能点2:上传Spark安装包并解压

①上传Spark安装包

使用FinalShell软件将HBase安装包spark-3.2.1-bin-hadoop2.7.tgz上传至虚拟机的/opt目录下。

②解压Spark安装包

使用"tar"命令将HBase解压至/usr/local目录下,具体命令如下:

复制代码
tar -zxvf /opt/spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/

技能点3:配置spark-env.sh文件

①进入到Spark安装包的conf目录下,具体命令如下:

复制代码
cd /usr/local/spark-3.2.1-bin-hadoop2.7/conf

②将spark-env.sh.template复制为spark-env.sh,具体命令如下:

复制代码
cp spark-env.sh.template spark-env.sh

③输入"vi spark-env.sh"命令,打开文件,在文件末尾添加如下代码:

复制代码
#Jdk安装路径

export JAVA_HOME=/usr/local/jdk1.8.0_161      

#Hadoop安装路径

export HADOOP_HOME=/usr/local/hadoop-3.1.4

#Hadoop配置文件的路径                

export HADOOP_CONF_DIR=/usr/local/hadoop-3.1.4/etc/hadoop    

#Spark主节点的IP地址或机器名

export SPARK_MASTER_IP=hadoop                                                            

#Spark本地的IP地址或机器名

export SPARK_LOCAL_IP=hadoop  

技能点4:启动测试Spark集群

①目录切换到sbin目录下启动集群。

复制代码
#进入到sbin目录下
cd /usr/local/spark-3.2.1-bin-hadoop2.7/sbin

#启动spark集群

./start-all.sh

②jps查看进程。

③切换到Spark安装包的/bin目录下(cd /usr/local/spark-3.2.1-bin-hadoop2.7/bin),使用SparkPi来计算Pi的值。

复制代码
#切换到Spark安装包的/bin目录下
cd /usr/local/spark-3.2.1-bin-hadoop2.7/bin
#运行程序
./run-example SparkPi 2

技能点5:浏览器访问Spark 页面

①关闭防火墙 输入命令"systemctl stop firewalld.service"

②打开浏览器访问Spark自带web页面 浏览器输入网址:http://192.168.15.128:8080/

③效果图如下

相关推荐
数字新视界7 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术7 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康10 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI11 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
wuyk55513 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
墨林陌14 小时前
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付
大数据
starzy199015 小时前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
wuyk55515 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人16 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
筑梦之人16 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins