spark-standalone

一、定义:Standalone 模式是一种独立的集群部署模式,自带完整服务,可单独部署到一个集群中,无需依赖任何其他资源管理系统。

二、配置步骤

1.和前面一样拉到hadoop101的/opt/module这个目录里面。

2.压缩

3.重命名为spark-standalone

4.配置环境变量

5.同步环境变量

6.进入/opt/module/spark-standalone/conf这个目录,修改workers.template文件,将后缀名去掉,然后点进去,添加下列内容

7.修改spark-env.sh.template文件,将后缀名去掉,然后点进去,添加下列内容

8.同步设置完毕的Spark目录到其他节点。使用我们之前封装的命令:

xsync /opt/module/spark-standalone/

9.启动SPARK集群。进入到hadoop100机器,切换目录到/opt/module/spark-standalone/sbin下,运行命令 ./start-all.sh。(注意,这里不要省略./)

10.验收效果。通过jps命令去每台机器上查看运行的进程。请观察是否在hadoop101上看到了master,worker在hadoop103,hadoop102上看到了worker。

11.查看启动效果。打开浏览器,输入hadoop100:8080。看到效果如下:

相关推荐
AI智能探索者4 小时前
揭秘大数据领域特征工程的核心要点
大数据·ai
做cv的小昊5 小时前
【TJU】信息检索与分析课程笔记和练习(8)(9)发现系统和全文获取、专利与知识产权基本知识
大数据·笔记·学习·全文检索·信息检索
AC赳赳老秦5 小时前
DeepSeek 私有化部署避坑指南:敏感数据本地化处理与合规性检测详解
大数据·开发语言·数据库·人工智能·自动化·php·deepseek
C7211BA7 小时前
通义灵码和Qoder的差异
大数据·人工智能
三不原则7 小时前
银行 AIOps 实践拆解:金融级故障自愈体系如何搭建
大数据·运维
大厂技术总监下海9 小时前
数据湖加速、实时数仓、统一查询层:Apache Doris 如何成为现代数据架构的“高性能中枢”?
大数据·数据库·算法·apache
新诺韦尔API12 小时前
手机三要素验证不通过的原因?
大数据·智能手机·api
成长之路51412 小时前
【数据集】分地市全社会用电量统计数据(2004-2022年)
大数据
InfiSight智睿视界12 小时前
门店智能体技术如何破解美容美发连锁的“标准执行困境”
大数据·运维·人工智能
前端不太难12 小时前
从本地到多端:HarmonyOS 分布式数据管理实战详解
分布式·状态模式·harmonyos