大数据-spark3.5安装部署之local模式

spark,一个数据处理框架和计算引擎。

下载

local模式即本地模式,就是不需要任何其他节点资源就可以在本地执行spark代码的环境。用于练习演示。

上传解压

使用PortX将文件上传至/opt

进入/opt目录,创建目录module,解压文件至/opt/module

进入module,并修改名称

配置jdk

启动spark前要安装jdk,上传jdk文件

解压

tar zxvf jdk-8u271-linux-x64.tar.gz

配置环境变量

以root用户配置环境变量

cd ~

保存后,以root用户,执行source .profle,使更改生效,并验证。

启动查看

进入spark-local,执行命令bin/spark-shell 启动spark,如下所示则成功启动

启动成功后,可以通过浏览器访问WebUI监控页面

http://ip:4040

交互操作

使用命令行或者提交作业的方式,与spark进行交互。

命令行

进入spark目录中的data文件夹,添加test.txt文件

vi test.txt

进入spark-standalone/bin目录,执行./spark-shell,启动命令行,执行以下内容

sc.textFile("../data/test.txt").flatMap(.split(" ")).map((,1)).reduceByKey(+).collect

退出Ctrl+c或者输入:quit后回车

提交应用

对于公司大数据的批量处理或周期性数据分析/处理任务,通常采用编写好的Spark程序,并通过Spark-submit指令的方式提交给Spark集群进行具体的任务计算。

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.5.5.jar \

10

备注:路径等信息如下,示例代码都位于spark目录中。

相关推荐
数字会议深科技几秒前
深科技 | 高端会议室效率升级指南:无纸化会议系统的演进与价值
大数据·人工智能·会议系统·无纸化·会议系统品牌·综合型系统集成商·会议室
容智信息18 分钟前
容智Report Agent智能体驱动财务自动化,从核算迈向价值创造
大数据·运维·人工智能·自然语言处理·自动化·政务
神算大模型APi--天枢6461 小时前
全栈自主可控:国产算力平台重塑大模型后端开发与部署生态
大数据·前端·人工智能·架构·硬件架构
每日学点SEO2 小时前
「网站新页面冲进前10名成功率下降69%」:2025 年SEO竞争格局分析
大数据·数据库·人工智能·搜索引擎·chatgpt
写代码的【黑咖啡】2 小时前
大数据建模中的模型
大数据
ljh5746491193 小时前
大数据geo是什么意思
大数据·人工智能
闲人编程3 小时前
环境配置管理与敏感信息保护
大数据·生命周期·环境配置·加密算法·codecapsule·敏感信息保护
珠海西格电力3 小时前
零碳园区应急能源基础架构规划:备用电源与清洁能源联动配置
大数据·运维·人工智能·物联网·能源
Elastic 中国社区官方博客3 小时前
开始使用 Elastic Agent Builder 和 Strands Agents SDK
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
说私域4 小时前
不同类型企业构建私域流量的必要性及定制开发AI智能名片商城小程序的应用
大数据·人工智能·小程序