【GPU使用】如何在物理机和Docker中指定GPU进行推理和训练

我的机器上有4张H100卡,我现在只想用某一张卡跑程序,该如何设置。

代码里面设置

bash 复制代码
import os
# 记住要写在impot torch前
os.environ['CUDA_VISIBLE_DEVICES'] = "0, 1"

命令行设置

bash 复制代码
export CUDA_VISIBLE_DEVICES=0,2 # Linux 环境
python test.py # 运行程序

docker 设置

bash 复制代码
docker run --gpus device=2 --shm-size 1024g 

docker run --gpus all --shm-size 1024g 

docker run --gpus device=1,2 --shm-size 1024g  

拉取镜像

复制代码
docker pull vllm/vllm-openai

备注,国内用户,可以使用代理源来加速镜像下载:

docker pull docker.1ms.run/vllm/vllm-openai

无法 import 某个package

bash 复制代码
import sys
sys.path.append('/your/home/package/')

docker设置代理

相关推荐
kjl53656642 分钟前
docker命令
运维·docker·容器
野熊佩骑43 分钟前
CentOS7二进制安装包方式部署K8S集群之ETCD集群部署
运维·数据库·云原生·容器·kubernetes·centos·etcd
小白银子5 小时前
零基础从头教学Linux(Day 45)
linux·运维·junit·openresty
半梦半醒*6 小时前
nginx反向代理和负载均衡
linux·运维·nginx·centos·tomcat·负载均衡
喜欢你,还有大家6 小时前
集群的概述和分类和负载均衡集群
运维·负载均衡
liu****6 小时前
负载均衡式的在线OJ项目编写(六)
运维·c++·负载均衡·个人开发
Elastic 中国社区官方博客8 小时前
CI/CD 流水线与 agentic AI:如何创建自我纠正的 monorepos
大数据·运维·数据库·人工智能·搜索引擎·ci/cd·全文检索
Insist7538 小时前
基于OpenEuler--docker容器化部署ceph集群
ceph·docker·容器
A-刘晨阳8 小时前
Linux安装centos8及基础配置
linux·运维·服务器·操作系统·centos8
恒雨田8 小时前
解决 jenkins 用户 SSH 连接目标服务器时的 Permission denied 问题
运维·ssh·jenkins