算力调度系统架构实践:计费、配额与抢占策略设计------基于Kubernetes 1.28与YARN 3.3的参数选型
算力调度系统的核心不是"能跑",而是计费准确、配额严苛、抢占可控。 在GPU池化与混合负载场景下,调度器需同时处理账单精度、资源隔离和任务优先级。本文以Kubernetes 1.28与YARN 3.3为例,拆解计费采集、配额模型、抢占策略的工程实现与参数约束。
1. 背景与痛点:计费、配额、抢占的三角矛盾
算力池化后,CPU、内存与GPU被多个租户共享。计费系统按量或按时出账,配额管理防止资源超卖,抢占机制让高优先级任务在资源紧张时获得资源。三者看似独立,实则互相制约。
工程中常见三组矛盾:
- 计费采集粒度粗,账单与真实使用偏差大;采集粒度细,指标存储开销成倍上升。
- 配额过松导致租户间争抢,配额过严又造成资源闲置。
- 抢占策略激进会导致低优先级任务频繁被杀;过于保守则高优先级任务长期Pending。
从工程角度看,算力调度系统的设计起点是统一资源模型:计费维度与配额对象对齐,抢占策略需要感知计费影响和配额约束。
CNCF平台工程白皮书指出,资源计量(Metering)与配额(Quota)是平台基础能力的两个独立但关联的模块。
2. 计费与配额:采集粒度、资源模型与配置示例
计费采集的基本问题是在精度与开销之间取平衡。Kubernetes 1.28环境下,常见数据源包括:
- kubelet内置cAdvisor v0.47,通过/metrics/cadvisor暴露容器CPU、内存指标。
- Prometheus 2.45每15秒抓取一次,存储原始数据后可计算任意时间窗用量。
- NVIDIA DCGM 3.1提供GPU利用率、显存、温度等指标,采样周期可设为10秒。
CPU计费通常使用PromQL的increase()函数计算核秒数,再除以3600得到核时:
promql
sum(increase(container_cpu_usage_seconds_total{namespace='tenant-a'}[1h])) / 3600
内存计费常取working set而非rss,避免将可回收缓存计入账单。GPU计费则需同时记录申请量(request)和实际利用率,部分平台按两者取大值出账。
下表对比不同计费维度的采集方式。
| 计费维度 | 数据源 | 典型指标 | 精度/开销 | 适用场景 |
|---|---|---|---|---|
| CPU | cAdvisor/Prometheus | container_cpu_usage_seconds_total | 秒级累计,需处理计数器重置 | 容器CPU计费 |
| 内存 | cAdvisor/Prometheus | container_memory_working_set_bytes | 字节级,包含活跃缓存 | 内存计费 |
| GPU利用率 | NVIDIA DCGM 3.1 | DCGM_FI_DEV_GPU_UTIL | 采样周期10s,开销约1% | GPU弹性计费 |
| GPU显存 | NVIDIA DCGM 3.1 | DCGM_FI_DEV_FB_USED | 采样周期10s,精度高 | 显存预留计费 |
| 持久卷 | kubelet volume stats | kubelet_volume_stats_used_bytes | 分钟级,延迟较高 | 存储容量计费 |
Prometheus官方文档提示,increase()对整数计数器外推时可能产生个位数百分比误差,计费对账需设置容差窗口。
配额模型方面,Kubernetes ResourceQuota限制命名空间资源总量,LimitRange约束Pod的请求与限制范围。YARN 3.3 Capacity Scheduler使用层级队列,通过capacity、maximum-capacity和user-limit-factor控制分配。
下面是一个Kubernetes租户配额与优先级类配置示例:
yaml
apiVersion: v1
kind: ResourceQuota
metadata:
name: tenant-a-quota
namespace: tenant-a
spec:
hard:
requests.cpu: "100"
requests.memory: "200Gi"
requests.nvidia.com/gpu: "8"
limits.cpu: "200"
limits.memory: "400Gi"
limits.nvidia.com/gpu: "16"
---
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: high-priority
value: 1000
globalDefault: false
preemptionPolicy: PreemptLowerPriority
注意:ResourceQuota不感知优先级。高优先级Pod触发抢占后,可能驱逐同一命名空间内的低优先级Pod,导致该命名空间实际可用资源低于配额上限。
3. 抢占策略:Kubernetes与YARN参数对比
Kubernetes 1.28的抢占由调度器在Pod调度失败时触发。调度器按PriorityClass的value从高到低排序,选择驱逐哪些低优先级Pod。
默认preemptionPolicy为PreemptLowerPriority,允许抢占低优先级Pod;若设为Never,则该Pod不会抢占其他Pod。PodDisruptionBudget(PDB)会限制单次驱逐数量,避免服务雪崩。
YARN 3.3 Capacity Scheduler的抢占由中央调度器异步执行,不依赖单个任务调度失败。监控进程周期扫描队列资源使用,当某个队列实际使用超过其guaranteed容量且存在其他队列资源不足时,触发抢占。关键参数如下表。
| 参数/特性 | Kubernetes 1.28 | YARN 3.3 Capacity Scheduler |
|---|---|---|
| 抢占触发 | 高优先级Pod Pending且无可用资源 | 队列资源低于guaranteed且存在超额使用 |
| 优先级来源 | PriorityClass value | 队列优先级与app priority |
| 驱逐粒度 | Pod | Container / Application |
| 回退机制 | PDB限制驱逐数量 | max_wait_before_kill超时后强制kill |
| 关键参数 | preemptionPolicy, PDB | monitoring_interval, total_preemption_per_round |
下面是YARN 3.3 Capacity Scheduler抢占配置片段:
xml
<property>
<name>yarn.resourcemanager.scheduler.monitor.enable</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.monitor.capacity.preemption.monitoring_interval</name>
<value>3000</value>
</property>
<property>
<name>yarn.resourcemanager.monitor.capacity.preemption.max_wait_before_kill</name>
<value>15000</value>
</property>
<property>
<name>yarn.resourcemanager.monitor.capacity.preemption.total_preemption_per_round</name>
<value>0.2</value>
</property>
YARN官方文档说明,monitoring_interval单位为毫秒,默认3000;total_preemption_per_round表示每轮最多抢占队列资源的比例,超过该比例则分多轮执行。
4. 实践建议与避坑清单
综合上述两个平台的实现,工程落地时有以下建议。
计费与配额联动:建议统一使用request作为配额硬约束,实际使用量作为计费输入。Kubernetes中,limit允许Pod短时超额使用CPU,但内存超过limit可能触发OOMKill。如果计费仅按request,超额部分无法体现;如果仅按实际使用量,又可能鼓励租户不声明request。常见做法是:配额限制request,计费按实际使用量,但配置超额价格系数。
抢占策略参数调优:
- Kubernetes PriorityClass的value建议分档间隔至少100,例如1000、2000、3000,避免相邻优先级误抢占。
- 生产环境建议为关键服务配置PodDisruptionBudget,minAvailable设为副本数的50%~80%。
- YARN total_preemption_per_round建议设为0.1~0.3,避免一次杀死过多容器导致集群抖动。
- max_wait_before_kill不宜超过60秒,否则高优先级任务等待时间过长。
避坑清单:
- 不要混用不同版本的PriorityClass映射,Kubernetes与YARN的优先级数值无法直接对应,跨平台调度时需维护映射表。
- Prometheus的increase()在短时间窗(如5分钟)对稀疏计数器外推误差可达5%以上,对账周期建议至少1小时。
- GPU计费若使用DCGM采样,需注意GPU利用率为瞬时值,无法区分显存占用与计算占用,建议同时上报显存指标。
- ResourceQuota更新后不会自动驱逐已存在的Pod,仅对新建Pod生效,变更配额后需人工检查存量状态。
最后是配置检查清单,供上线前核对。
text
[ ] PriorityClass已创建且preemptionPolicy明确
[ ] 所有租户命名空间已绑定ResourceQuota与LimitRange
[ ] 关键Deployment/StatefulSet已配置PodDisruptionBudget
[ ] Prometheus抓取间隔与对账周期匹配
[ ] YARN抢占监控已开启且参数已验证
以上配置项缺少任意一项,都可能在资源争抢场景下暴露问题。
算力调度系统的计费、配额与抢占并非三个独立模块,而是共享同一资源模型的联动机制。设计时应先明确计费维度和配额粒度,再确定抢占优先级与回退策略。本文参数基于Kubernetes 1.28和YARN 3.3公开文档整理,具体版本差异请查阅对应官方手册。