spark-standalone

一、定义:Standalone 模式是一种独立的集群部署模式,自带完整服务,可单独部署到一个集群中,无需依赖任何其他资源管理系统。

二、配置步骤

1.和前面一样拉到hadoop101的/opt/module这个目录里面。

2.压缩

3.重命名为spark-standalone

4.配置环境变量

5.同步环境变量

6.进入/opt/module/spark-standalone/conf这个目录,修改workers.template文件,将后缀名去掉,然后点进去,添加下列内容

7.修改spark-env.sh.template文件,将后缀名去掉,然后点进去,添加下列内容

8.同步设置完毕的Spark目录到其他节点。使用我们之前封装的命令:

xsync /opt/module/spark-standalone/

9.启动SPARK集群。进入到hadoop100机器,切换目录到/opt/module/spark-standalone/sbin下,运行命令 ./start-all.sh。(注意,这里不要省略./)

10.验收效果。通过jps命令去每台机器上查看运行的进程。请观察是否在hadoop101上看到了master,worker在hadoop103,hadoop102上看到了worker。

11.查看启动效果。打开浏览器,输入hadoop100:8080。看到效果如下:

相关推荐
TDengine (老段)19 小时前
TDengine 时序函数 IRATE 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine
TDengine (老段)19 小时前
TDengine 时序函数 CSUM 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
京东零售技术21 小时前
京东零售胡浩:智能供应链从运筹到大模型到超级智能体的演进
大数据·人工智能
xrkhy1 天前
分布式之RabbitMQ的使用(2)
分布式·rabbitmq
观望过往1 天前
Spring Cloud构建分布式微服务架构的完整指南
分布式·spring cloud·架构
土丁爱吃大米饭1 天前
重磅!Repo Wiki!
大数据·词法分析·语义分析·语法分析·qoder·repo wiki
Z_z在努力1 天前
【rabbitmq 高级特性】全面详解RabbitMQ TTL (Time To Live)
分布式·rabbitmq
问道飞鱼1 天前
【大数据技术】ClickHouse配置详细解读
大数据·clickhouse·配置信息
月夕·花晨1 天前
Gateway-断言
java·开发语言·分布式·spring cloud·微服务·nacos·sentinel
ModelWhale1 天前
喜报!和鲸科技获张江国家自主创新示范区专项发展资金支持
大数据·人工智能·科研