gpu调度

多卡多机训练任务调度系统：从梯度平均到拓扑感知调度一个任务要占 8 台机器 64 张卡，少一张都开不了；另一个模型单卡装不下，必须把一层矩阵劈成四份分别算。这两类需求背后是同一套东西：集合通信和调度器的编排能力。本文把「为什么要这么切」「切完怎么同步」「调度器到底管什么、不管什么」一层层拆开，最后给出一套可落地的调度器设计。

05 - 大模型推理生产架构设计：混合部署与Kubernetes实战本文是《大模型推理框架深度解析》系列的第五篇，详解生产级架构设计、K8s部署与智能路由策略。将大模型推理服务部署到生产环境，面临诸多挑战：

我是有底线的