大数据-spark3.5安装部署之local模式

spark,一个数据处理框架和计算引擎。

下载

local模式即本地模式,就是不需要任何其他节点资源就可以在本地执行spark代码的环境。用于练习演示。

上传解压

使用PortX将文件上传至/opt

进入/opt目录,创建目录module,解压文件至/opt/module

进入module,并修改名称

配置jdk

启动spark前要安装jdk,上传jdk文件

解压

tar zxvf jdk-8u271-linux-x64.tar.gz

配置环境变量

以root用户配置环境变量

cd ~

保存后,以root用户,执行source .profle,使更改生效,并验证。

启动查看

进入spark-local,执行命令bin/spark-shell 启动spark,如下所示则成功启动

启动成功后,可以通过浏览器访问WebUI监控页面

http://ip:4040

交互操作

使用命令行或者提交作业的方式,与spark进行交互。

命令行

进入spark目录中的data文件夹,添加test.txt文件

vi test.txt

进入spark-standalone/bin目录,执行./spark-shell,启动命令行,执行以下内容

sc.textFile("../data/test.txt").flatMap(.split(" ")).map((,1)).reduceByKey(+).collect

退出Ctrl+c或者输入:quit后回车

提交应用

对于公司大数据的批量处理或周期性数据分析/处理任务,通常采用编写好的Spark程序,并通过Spark-submit指令的方式提交给Spark集群进行具体的任务计算。

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.5.5.jar \

10

备注:路径等信息如下,示例代码都位于spark目录中。

相关推荐
TracyCoder1233 分钟前
全面解析:Elasticsearch 性能优化指南
大数据·elasticsearch·性能优化
bigdata-rookie4 分钟前
Starrocks 简介
大数据·数据库·数据仓库
petrel20157 分钟前
【Spark 核心内参】2025.9:预览版常态化与数据类型的重构
大数据·spark
行业探路者9 分钟前
2026年热销榜单:富媒体展示二维码推荐,助力信息传递新风尚
大数据·音视频·二维码
CTO Plus技术服务中19 分钟前
大数据、开发环境、中间件、数据库运维开发教程
大数据·数据库·中间件
BYSJMG25 分钟前
2026计算机毕设推荐:基于大数据的车辆二氧化碳排放量可视化分析系统
大数据·vue.js·python·mysql·django·课程设计
OpenMiniServer26 分钟前
石化能源文明 vs 电气化能源文明
大数据·人工智能·能源
bigdata-rookie31 分钟前
Spark shuffle 和 MapReduce shuffle 的区别
大数据·spark·mapreduce
hans汉斯33 分钟前
国产生成式人工智能解决物理问题能力研究——以“智谱AI”、“讯飞星火认知大模型”、“天工”、“360智脑”、“文心一言”为例
大数据·人工智能·算法·aigc·文心一言·汉斯出版社·天工
发哥来了35 分钟前
主流AI视频生成商用方案选型评测:关键能力与成本效益分析
大数据·人工智能·音视频