是否可以在容器里监控GPU运行状态?

只要容器是以 GPU 方式启动的(挂载了 NVIDIA 驱动),容器内就能直接看到并监控 GPU 状态,因为容器本身运行在宿主机的内核驱动之上,nvidia-smi 等工具读的就是同一块物理 GPU。

先验证容器是否有 GPU 权限

bash 复制代码
docker exec -it <容器名> nvidia-smi
  • 有输出:容器已正确挂载 GPU,可以直接监控。
  • 报错 "command not found":镜像里没装 nvidia-smi,可尝试 ls /usr/bin/nvidia-smi 或看 /proc/driver/nvidia/version。
  • 报错 "couldn't communicate with the NVIDIA driver":容器启动时没挂 GPU,需要在宿主机用 docker run --gpus all ...(或 NVIDIA_VISIBLE_DEVICES 环境变量,配合宿主机的 nvidia-container-toolkit)重新启动,这一点在容器内无法补救。

容器内常用的监控方式

1. nvidia-smi(最常用,无需额外安装)

bash 复制代码
nvidia-smi                       # 一次性快照:利用率、显存、温度、功耗、进程
watch -n 1 nvidia-smi            # 每秒刷新
nvidia-smi dmon                  # 精简的实时指标流(SM利用率、显存带宽、温度、功耗)
nvidia-smi pmon                  # 按进程监控每个进程的 GPU/显存占用
nvidia-smi --query-gpu=timestamp,utilization.gpu,memory.used,temperature.gpu \
  --format=csv -l 5              # 每5秒输出CSV,方便重定向到日志文件

2. DCGM(数据中心级监控,适合长时间运行/多卡) 如果镜像是 NVIDIA 官方 CUDA 镜像,可能已带 dcgmi。生产环境更常见的做法是在宿主机另跑一个 dcgm-exporter 容器,把指标暴露给 Prometheus + Grafana 做面板。

3. 程序化读取(NVML) 在训练脚本里可以直接用 Python 获取指标,便于记录或上报:

python 复制代码
import pynvml
pynvml.nvmlInit()
h = pynvml.nvmlDeviceGetHandleByIndex(0)
print(pynvml.nvmlDeviceGetUtilizationRates(h).gpu)        # GPU利用率%
print(pynvml.nvmlDeviceGetMemoryInfo(h).used // 2**20)    # 已用显存 MiB

几个注意事项

  • 可见范围受限 :如果启动时只分配了部分卡(如 --gpus '"device=0,1"' 或设置了 CUDA_VISIBLE_DEVICES),容器内只能看到这几张卡;宿主机上的其他 GPU 不可见。
  • MIG 场景:如果 GPU 开启了 MIG 切分,容器内只能看到分配给它的 MIG 实例。
  • 只能读不能改:监控没有问题,但修改主机级设置(如 persistence mode、ECC、功耗上限)需要特权,普通容器会报 "Insufficient Permissions"。
  • 进程号差异 :容器内 nvidia-smi 看到的是容器自己的进程,宿主机上其他用户的进程对它不可见(这也算一种隔离,通常反而是想要的效果)。

简单说:先用 docker exec <容器名> nvidia-smi 试一下,能出表格就说明一切就绪;日常用 nvidia-smi dmon 或 watch 看实时状态,长期监控再考虑 DCGM + Prometheus 那套。

相关推荐
Z21-X1 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
你住过的屋檐2 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
Decay__3 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
分布式存储与RustFS3 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
老余说AI4 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
分布式存储与RustFS5 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
无忧.芙桃19 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
谙弆悕博士21 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
HMS工业网络1 天前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕1 天前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops