Spark资源规划-资源上线评估

1、总体原则

以单台服务器 128G 内存,32 线程为例。

先设定单个 Executor 核数,根据 Yarn 配置得出每个节点最多的 Executor 数量,每个节点的 yarn 内存/每个节点数量=单个节点的数量

总的 executor 数=单节点数量*节点数。

2、具体提交参数

1)executor-cores

每个 executor 的最大核数。根据经验实践,设定在 3~6 之间比较合理。

2)num-executors

该参数值=每个节点的 executor 数 * work 节点数

每个 node 的 executor 数 = 单节点 yarn 总核数 / 每个 executor 的最大 cpu 核数考虑到系统基础服务和 HDFS 等组件的余量,yarn.nodemanager.resource.cpu-vcores 配 置为: 28,参数 executor-cores 的值为:4,那么每个 node 的 executor 数 = 28/4 = 7,假设集

群节点为 10,那么 num-executors = 7 * 10 = 70

3)executor-memory

该参数值=yarn-nodemanager.resource.memory-mb / 每个节点的 executor 数量

如果 yarn 的参数配置为 100G,那么每个 Executor 大概就是 100G/7≈14G, 同时要注意yarn 配置中每个容器允许的最大内存是否匹配。

Spark的提交参数

csharp 复制代码
		spark-submit常用参数
			--master 指定任务提交到哪个资源调度器中
			--executor-memory 指定每个executor的内存大小
			--executor-cores 指定每个executor的cpu核数
			--total-executor-cores 指定所有executor的cpu总核数[仅限于standalone模式使用]
			--num-executors 指定任务需要的executor个数[仅限于yarn模式使用]
			--queue 指定任务提交到哪个资源队列中[仅限于yarn模式使用]
			--deploy-mode 指定任务的部署模式[client/cluster]
			--driver-memory 指定driver的内存大小
			--class 指定待运行的带有main方法object的全类名
相关推荐
曹一二40 分钟前
彻底搞懂 JS 对象:从字面量、构造函数到原型链与包装类
前端·javascript
AI_Auto1 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
bai2731 小时前
同一条 294 字符的路径:Node 走得进去,git add 直接 exit 128
javascript·后端
注塑机数据采集联网2 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
一个游离的指针15 小时前
Vue2:vue-router
前端·javascript·vue.js
凌晨三点说晚安18 小时前
理解 JavaScript 对象、原型与包装类
javascript
凌晨三点说晚安18 小时前
理解 JavaScript 作用域链、return 与闭包
javascript
tryCbest18 小时前
Vue系列——第 20 篇:Vue Router 4——路由管理完全指南(上)
前端·javascript·vue.js
feixing_fx18 小时前
原始类型与引用类型:赋值时到底复制了什么
开发语言·前端·javascript·前端框架
黑十19 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能