大数据-spark3.5安装部署之local模式

spark,一个数据处理框架和计算引擎。

下载

local模式即本地模式,就是不需要任何其他节点资源就可以在本地执行spark代码的环境。用于练习演示。

上传解压

使用PortX将文件上传至/opt

进入/opt目录,创建目录module,解压文件至/opt/module

进入module,并修改名称

配置jdk

启动spark前要安装jdk,上传jdk文件

解压

tar zxvf jdk-8u271-linux-x64.tar.gz

配置环境变量

以root用户配置环境变量

cd ~

保存后,以root用户,执行source .profle,使更改生效,并验证。

启动查看

进入spark-local,执行命令bin/spark-shell 启动spark,如下所示则成功启动

启动成功后,可以通过浏览器访问WebUI监控页面

http://ip:4040

交互操作

使用命令行或者提交作业的方式,与spark进行交互。

命令行

进入spark目录中的data文件夹,添加test.txt文件

vi test.txt

进入spark-standalone/bin目录,执行./spark-shell,启动命令行,执行以下内容

sc.textFile("../data/test.txt").flatMap(.split(" ")).map((,1)).reduceByKey(+).collect

退出Ctrl+c或者输入:quit后回车

提交应用

对于公司大数据的批量处理或周期性数据分析/处理任务,通常采用编写好的Spark程序,并通过Spark-submit指令的方式提交给Spark集群进行具体的任务计算。

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local2 \

./examples/jars/spark-examples_2.12-3.5.5.jar \

10

备注:路径等信息如下,示例代码都位于spark目录中。

相关推荐
北方的银狐-Zero18 小时前
ERP 管执行,数据管标准,OntoL本体 管思考:企业智能化升级的规划图
大数据·人工智能·本体论
四季豆3318 小时前
数据质量管理的内涵与评估
大数据
净水深流19 小时前
中央厨房冷链技术实践:多温区改造、WMS落地与IoT温控架构
大数据·数据库·人工智能·冷库冷链
是Yu欸20 小时前
鸿蒙PC移植:2048 从网页小游戏到 AI 桌面应用
大数据·人工智能·算法·数据挖掘·openharmony·codex
智搜广告20 小时前
智搜广告:科技行业AI回答优化公司如何破局
大数据·python·elasticsearch·geo
湘美书院--湘美谈教育21 小时前
湘美书院AI时代的禅悟集:人机智能,反照诸我
大数据·人工智能·深度学习·机器学习·生活
电商API_180079052471 天前
拍照找同款是怎么实现的?淘宝以图搜图接口 item_search_img 对接实战
大数据·爬虫·数据挖掘·数据分析·代采api
洋洋不叫杨杨1 天前
Codex 实战:用 AI 写运维脚本
大数据·python
Regentsoft丽晶软件1 天前
即时零售退货的库存归属、质检标准和退款时效,系统如何做到自动闭环
大数据·经验分享·数据库架构