大数据-spark3.5安装部署之local模式

spark,一个数据处理框架和计算引擎。

下载

local模式即本地模式,就是不需要任何其他节点资源就可以在本地执行spark代码的环境。用于练习演示。

上传解压

使用PortX将文件上传至/opt

进入/opt目录,创建目录module,解压文件至/opt/module

进入module,并修改名称

配置jdk

启动spark前要安装jdk,上传jdk文件

解压

tar zxvf jdk-8u271-linux-x64.tar.gz

配置环境变量

以root用户配置环境变量

cd ~

保存后,以root用户,执行source .profle,使更改生效,并验证。

启动查看

进入spark-local,执行命令bin/spark-shell 启动spark,如下所示则成功启动

启动成功后,可以通过浏览器访问WebUI监控页面

http://ip:4040

交互操作

使用命令行或者提交作业的方式,与spark进行交互。

命令行

进入spark目录中的data文件夹,添加test.txt文件

vi test.txt

进入spark-standalone/bin目录,执行./spark-shell,启动命令行,执行以下内容

sc.textFile("../data/test.txt").flatMap(.split(" ")).map((,1)).reduceByKey(+).collect

退出Ctrl+c或者输入:quit后回车

提交应用

对于公司大数据的批量处理或周期性数据分析/处理任务,通常采用编写好的Spark程序,并通过Spark-submit指令的方式提交给Spark集群进行具体的任务计算。

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.5.5.jar \

10

备注:路径等信息如下,示例代码都位于spark目录中。

相关推荐
墨香幽梦客41 分钟前
掌控制造脉络:电子元器件行业常用ERP系统概览与参考指南
大数据·人工智能
B站_计算机毕业设计之家1 小时前
python舆情分析可视化系统 情感分析 微博 爬虫 scrapy爬虫技术 朴素贝叶斯分类算法大数据 计算机✅
大数据·爬虫·python·scrapy·数据分析·1024程序员节·舆情分析
汤姆yu1 小时前
2026版基于python大数据的电影分析可视化系统
大数据·python·1024程序员节·电影分析可视化
QMY5205201 小时前
TikTok 独立 IP 解决方案:独享静态住宅 IP + 环境隔离 + 粘性会话
大数据·jupyter·数据挖掘·数据分析·postman·1024程序员节
熟悉的新风景1 小时前
window安装Elasticsearch(es)
大数据·elasticsearch·jenkins
励志成为糕手2 小时前
Hive数据仓库:架构原理与实践指南
大数据·数据仓库·hive·1024程序员节·hql
isNotNullX2 小时前
一文讲清:数据清洗、数据中台、数据仓库、数据治理
大数据·网络·数据库·数据分析·1024程序员节
云飞云共享云桌面2 小时前
苏州精密机械制造企业一台云服务器带8个SolidWorks研发
大数据·运维·服务器·自动化·制造
墨香幽梦客2 小时前
探索五款主流生产制造ERP,助力注胶工艺高效管理与升级
大数据·制造
周杰伦_Jay3 小时前
【Elasticsearch 全解析】分布式搜索引擎的原理、实践与优化
大数据·分布式·elasticsearch·架构·开源·1024程序员节