SwanLab硬件监控:英伟达、昇腾、寒武纪

SwanLab在跟踪实验的过程中,会自动监控 机器的硬件资源情况,并记录到 「系统」图表 当中。

目前SwanLab已支持监控3款AI计算芯片华为昇腾英伟达寒武纪)的硬件资源情况,涵盖显卡利用率、显存占用率、显卡温度、显卡功率等指标。

除此之外,SwanLab还支持监控CPU内存硬盘等硬件资源情况。


很开心,我们与昇腾计算团队合作,为训练师提供更多的国产算力使用体验。

昇腾NPU监控案例

NPU监控图表:

AI芯片环境记录:

系统监控指标详解

SwanLab 在当前实验运行的机器上自动监控硬件资源情况,并为每个指标生成图表,统一展示在 「系统」图表 选项卡中。

采集策略与频率:SwanLab根据当前实验的持续运行时间,自动调整硬件数据采集的频率,以平衡数据粒度与系统性能,采集频率分为以下几档:

已采集数据点数 采集频率
0~10 10 秒/次
10~50 30 秒/次
50+ 60 秒/次

SwanLab 采集的硬件资源情况涵盖了GPU、NPU、CPU、系统内存、硬盘IO以及网络情况等多个与训练过程相关的指标。以下详细介绍每个部分的监控内容及其在图表展示中的意义。

1. GPU(NVIDIA)

在多卡机器上,每个GPU的资源情况都会单独记录,最终在图表中展示多条图线。

指标 描述
GPU Memory Allocated (%) GPU 显存使用率,表示此GPU的显存占用百分比。
GPU Memory Allocated (MB) GPU 显存使用率,表示此GPU的显存占用量,以MB为单位。该指标对应图表的纵坐标上限为所有GPU中的最大总显存。
GPU Utilization (%) GPU 利用率,表示此GPU的计算资源占用百分比。
GPU Temperature (℃) GPU 温度,表示此GPU的温度,以摄氏度为单位。
GPU Power Usage (W) GPU 功耗,表示此GPU的功耗,以瓦特为单位。

2. NPU(Ascend)

在多卡机器上,每个NPU的资源情况都会单独记录,最终在图表中展示多条图线。

指标 描述
NPU Utilization (%) NPU 利用率,表示此NPU的计算资源占用百分比。
NPU Memory Allocated (%) NPU 显存使用率,表示此NPU的显存占用百分比。
NPU Temperature (℃) NPU 温度,表示此NPU的温度,以摄氏度为单位。

3. MLU(寒武纪)

在多卡机器上,每个MLU的资源情况都会单独记录,最终在图表中展示多条图线。

指标 描述
MLU Utilization (%) MLU 利用率,表示此MLU的计算资源占用百分比。
MLU Memory Allocated (%) MLU 显存使用率,表示此MLU的显存占用百分比。
MLU Temperature (℃) MLU 温度,表示此MLU的温度,以摄氏度为单位。

4. CPU

指标 描述
CPU Utilization (%) CPU 利用率,表示此CPU的计算资源占用百分比。
Process CPU Threads CPU 线程数,表示当前运行的实验所使用的CPU总线程数。

5. 内存

指标 描述
System Memory Utilization (%) 系统内存使用率,表示当前系统的内存占用百分比。
Process Memory In Use (non-swap) (MB) 进程占用内存,当前进程实际占用的物理内存量(不包含交换区),直观反映实验运行时的内存消耗。
Process Memory Utilization (MB) 进程分配内存,当前进程分配的内存量(包含交换区),不一定是实际使用的内存量。
Process Memory Available (non-swap) (MB) 进程可用内存,当前进程可用的物理内存量(不包含交换区),即当前进程可以使用的内存量。

6. 硬盘

指标 描述
Disk IO Utilization (MB) 硬盘I/O,表示硬盘的读写速度,以MB/s为单位。读速率和写速率会在图表中作为两条图线,分开展示。
Disk Utilization (%) 硬盘使用情况,表示当前系统盘的使用率,以百分比为单位。

在Linux平台,取根目录/的使用率;若操作系统为Windows,则取系统盘(通常是C:)的使用率。

7. 网络

指标 描述
Network Traffic (KB) 网络I/O,表示网络的读写速度,以KB/s为单位。接收速率和发送速率会在图表中作为两条图线,分开展示。

表示网络的读写速度,以KB/s为单位。接收速率和发送速率会在图表中作为两条图线,分开展示。


相关推荐
万粉变现经纪人2 小时前
如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题
python·selenium·测试工具·scrapy·beautifulsoup·fastapi·pip
编程武士4 小时前
从50ms到30ms:YOLOv10部署中图像预处理的性能优化实践
人工智能·python·yolo·性能优化
我的xiaodoujiao4 小时前
Windows系统Web UI自动化测试学习系列2--环境搭建--Python-PyCharm-Selenium
开发语言·python·测试工具
mCell5 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama
Ada's6 小时前
深度学习在自动驾驶上应用(二)
人工智能·深度学习·自动驾驶
傻啦嘿哟6 小时前
Python SQLite模块:轻量级数据库的实战指南
数据库·python·sqlite
Q_Q5110082857 小时前
python+django/flask+uniapp基于微信小程序的瑜伽体验课预约系统
spring boot·python·django·flask·uni-app·node.js·php
XueminXu7 小时前
Python读取MongoDB的JSON字典和列表对象转为字符串
python·mongodb·json·pymongo·mongoclient·isinstance·json.dumps
techdashen7 小时前
12分钟讲解Python核心理念
开发语言·python
jie*7 小时前
小杰机器学习(nine)——支持向量机
人工智能·python·机器学习·支持向量机·回归·聚类·sklearn