十、Scala应用实践(下)

首先,拍快照.确保Hadoop和zookeeper已经启动成功!!!!

start-all.sh --启动Hadoop

zkServer.sh start --启动zookeeper

Jps查看,若出现

在启动zookeeper后,输入jps,若没有出现Quorum Peer Main,而是出现already running

则需要先停止zookeeper启动,再重新启动

先zkServer.sh stop

再zkServer.sh start

开始实验:

1.切换到install目录

cd /opt/install

2.上传spark安装包

3.解压文件

tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C ../soft

4.切换到soft目录,改文件名

cd /opt/soft

mv spark-3.1.2-bin-hadoop3.2 /spark312

  1. 切换当前工作目录到/spark312

把/spark312这个文件夹移动到/opt/soft/目录下

6.进入当前目录下spark312文件夹里的conf子目录

cd ./spark312/conf

7.复制spark-env.sh.template模板文件,生成实际生效的spark-env.sh配置文件(用于设置 Spark 环境变量)。

cp spark-env.sh.template spark-env.sh

8.复制workers.template模板文件,生成workers配置文件

cp workers.template workers

9. 开系统全局环境变量配置文件

vi /etc/profile

添加以下内容:

让刚修改的/etc/profile 配置立即生效(无需重启终端)

source /etc/profile

10. 打开当前目录下的spark-env.sh

vi ./spark-env.sh

添加以下内容:

export SCALA_HOME=/opt/soft/scala212

export JAVA_HOME=/opt/soft/jdk180

export SPARK_HOME=/opt/soft/spark312

export HADOOP_INSTALL=/opt/soft/hadoop313

export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop

export SPARK_MASTER_IP=192.168.119.142

export SPARK_DRIVER_MEMORY=2G

export SPARK_EXECUTOR_MEMORY=2G

export SPARK_LOCAL_DIRS=/opt/soft/spark312

再次执行source /etc/profile

11. 测试

推出目录

cd ..

进去bin 目录

cd bin/

进行测试

./spark-shell

出现以下内容则成功

相关推荐
小宋10216 小时前
Java 项目结构 vs Python 项目结构:如何快速搭一个可跑项目
java·开发语言·python
爱吃生蚝的于勒6 小时前
【Linux】进程信号之捕捉(三)
linux·运维·服务器·c语言·数据结构·c++·学习
The森6 小时前
Linux IO 模型纵深解析 01:从 Unix 传统到 Linux 内核的 IO 第一性原理
linux·服务器·c语言·经验分享·笔记·unix
翼龙云_cloud6 小时前
腾讯云代理商: Linux 云服务器搭建 FTP 服务指南
linux·服务器·腾讯云
纤纡.6 小时前
Linux中SQL 从基础到进阶:五大分类详解与表结构操作(ALTER/DROP)全攻略
linux·数据库·sql
一晌小贪欢6 小时前
Python 爬虫进阶:如何利用反射机制破解常见反爬策略
开发语言·爬虫·python·python爬虫·数据爬虫·爬虫python
阿猿收手吧!7 小时前
【C++】异步编程:std::async终极指南
开发语言·c++
好好学习天天向上~~7 小时前
6_Linux学习总结_自动化构建
linux·学习·自动化
冉佳驹7 小时前
Linux ——— 静态库和动态库的设计与使用
linux·动态库·静态库·fpic
小程故事多_807 小时前
Agent Infra核心技术解析:Sandbox sandbox技术原理、选型逻辑与主流方案全景
java·开发语言·人工智能·aigc