Spark的原理以及使用

一、spark集群的常见操作

启动spark集群

需要在各节点上首先启动zookeeper

zkServer.sh start

1、在主节点node1上spark目录下的sbin目录

2、执行./start-all.sh

3、使用jps和8080端口可以检查集群是否启动成功 http://node1:8080/

node1是Master,node1/node2/node3启动Worker进程

4、进入spark-shell查看是否正常

二、在Spark集群上提交应用

1、本地执行

val conf = new SparkConf().setAppName("TopN").setMaster("local");

val sc = new SparkContext(conf);

2、Idea提交集群执行

val conf = new SparkConf().setAppName("WordCount")

.setMaster("spark://node1:7077");

val sc = new SparkContext(conf);

sc.addJar("c:\\spark-wordcount-scala.jar"); // spark-submmit 集群上提交时,需要注释该行

val linesRdd = sc.textFile("hdfs://node1:9000/test/README.txt");

3、集群上执行

(1)在spark上执行

打包jar,只包含spark程序类,不要包含所有依赖类

#spark自己管理资源 Master:8080

#集群的各个节点都需要能访问到jar

各个节点都存在 /usr/local/spark-wordcount-scala.jar

/usr/local/spark/bin/spark-submit \

--class com.aaa.spark.WordCountSpark \

--master spark://node10:7077 \

--driver-memory 5a00m \

--executor-memory 500m \

--executor-cores 1 \

/usr/local/spark-wordcount-scala.jar

(2)、在yarn上执行

#yarn调度资源 RM:8088

/usr/local/spark/bin/spark-submit \

--class com.aaa.spark.WordCount \

--master yarn-cluster/yarn-client \

--num-executors 3 \

--driver-memory 500m \

--executor-memory 500m \

--executor-cores 3 \

/usr/local/spark/spark.jar

三、Spark集群的原理

1、spark的基本组件

Driver

Master

worker

Executor

Task

spark的每个CPU可创建2到4个分区

2、Spark的四种RDD操作

(1)transformation:转换,根据已有的RDD创建一个新的RDD

map

filter

flatMap

spark:groupByKey

spark:reduceByKey

sortByKey

join

cogroup

(2)action:行动,对RDD进行最后的操作

reduce

collect

count:元素的总个数

take(n)

top

saveAsTextFile

countByKey:各个Key的value的次数,MapKey,次数

countByValue:各个元素分别出现的次数,Map元素,次数

foreach 存储RDD到文件或数据库中,将操作结果转换为集合

action执行会自动执行之前的所有transformation操作

(3)集合类操作

creation:创建,两种方式创建RDD,一是集合,二是外部文件

(4)控制类

control:控制,RDD的持久化,放入缓存或磁盘

3、DAGScheduler划分stage算法

执行Action操作时,对该RDD创建一个stage

往前推,遇到宽依赖,再创建一个stage

相关推荐
wuyk5559 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界13 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)14 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯15 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台17 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统19 小时前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天1 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata2 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售