【论文阅读】

4. Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
  • 出处:2019 USENIX-TAC 大规模多租户GPU集群对DNN训练工作负载的分析

  • 主要工作:描述了Microsoft中一个多租户GPU集群两个月的工作负载特征,研究影响多租户集群上DNN训练工作负载的集群利用率的三个问题:

    • 队列调度和局部性约束对队列的影响。
    • 局部性对GPU利用率的影响。
    • 训练期间的故障问题。
  • 介绍GPU集群Philly:

① 传入作业和排队:用户可指定GPU数量,调度器跟踪集群中所有空闲GPU,调度时首先考虑机架,然后考虑机架中可用GPU最多的服务器。

②作业放置和利用:将小作业打包到更少的服务器中来避免资源碎片。一旦作业被安排运行,它的GPU就不会与其他作业共享。

③训练进度和完成情况:有三种可能情况:passed:已完成;killed:被用户终止;unsuccessful:不成功。

  • 工具:Apache-Yarn, 是一种新的Hadoop资源管理器,是一个通用资源管理系统 和调度平台,可以为上层应用提供统一的资源管理和调度。
  • 展望:
    • 局部性优先:缺乏局部性会影响利用率和作业运行时间。等待有限的时间来查看是否可以实现局部性,如果不能,则使用局部性宽松的可用资源来调度作业( 从而减少用户的排队时间)。
    • 减轻干扰:将不同小作业放在专用服务器上,而不是打包到单个服务器,从而减少这些作业之间的干扰,但会增加碎片化。所以要支持作业迁移以对集群进行碎片整理。
    • 改进故障处理:大量作业失败是由于代码或配置中的用户错误造成,语法检查可以放置许多错误,并且可以通过运行训练的第一次迭代来捕获一些运行时错误。
相关推荐
Funny_AI_LAB1 小时前
OpenAI DevDay 2025:ChatGPT 进化为平台,开启 AI 应用新纪元
人工智能·ai·语言模型·chatgpt
深瞳智检1 小时前
YOLO算法原理详解系列 第002期-YOLOv2 算法原理详解
人工智能·算法·yolo·目标检测·计算机视觉·目标跟踪
深眸财经2 小时前
机器人再冲港交所,优艾智合能否破行业困局?
人工智能·机器人
小宁爱Python2 小时前
从零搭建 RAG 智能问答系统1:基于 LlamaIndex 与 Chainlit实现最简单的聊天助手
人工智能·后端·python
新知图书3 小时前
Encoder-Decoder架构的模型简介
人工智能·架构·ai agent·智能体·大模型应用开发·大模型应用
大模型真好玩3 小时前
低代码Agent开发框架使用指南(一)—主流开发框架对比介绍
人工智能·低代码·agent
tzc_fly3 小时前
AI作为操作系统已经不能阻挡了,尽管它还没来
人工智能·chatgpt
PKNLP3 小时前
深度学习之神经网络1(Neural Network)
人工智能·深度学习·神经网络
iconball4 小时前
个人用云计算学习笔记 --20 (Nginx 服务器)
linux·运维·笔记·学习·云计算
文火冰糖的硅基工坊4 小时前
《投资-99》价值投资者的认知升级与交易规则重构 - 什么是周期性股票?有哪些周期性股票?不同周期性股票的周期多少?周期性股票的买入和卖出的特点?
大数据·人工智能·重构·架构·投资·投机