【GPU使用】如何在物理机和Docker中指定GPU进行推理和训练

我的机器上有4张H100卡,我现在只想用某一张卡跑程序,该如何设置。

代码里面设置

bash 复制代码
import os
# 记住要写在impot torch前
os.environ['CUDA_VISIBLE_DEVICES'] = "0, 1"

命令行设置

bash 复制代码
export CUDA_VISIBLE_DEVICES=0,2 # Linux 环境
python test.py # 运行程序

docker 设置

bash 复制代码
docker run --gpus device=2 --shm-size 1024g 

docker run --gpus all --shm-size 1024g 

docker run --gpus device=1,2 --shm-size 1024g  

拉取镜像

复制代码
docker pull vllm/vllm-openai

备注,国内用户,可以使用代理源来加速镜像下载:

docker pull docker.1ms.run/vllm/vllm-openai

无法 import 某个package

bash 复制代码
import sys
sys.path.append('/your/home/package/')

docker设置代理

相关推荐
TG_yunshuguoji26 分钟前
阿里云代理商:阿里云CDN访问问题怎么诊断?
运维·服务器·阿里云·云计算
Sylvia@8882 小时前
18.SELInux安全性
linux·运维·服务器
chen_note3 小时前
Dockerfile及其部署镜像步骤
docker·容器·镜像·dockerfile
Deamon Tree3 小时前
后端开发常用Linux命令
linux·运维·python
Jy_06224 小时前
K8s中,deployment 是如何从 yaml 文件最终部署成功 pod 的
云原生·容器·kubernetes
mobº4 小时前
K8s 集群环境搭建 - yaml 版本(一)
云原生·容器·kubernetes
终端行者4 小时前
K8s中部署Minio集群 如何部署minio集群
云原生·容器·kubernetes·1024程序员节
Super Rookie4 小时前
RabbitMQ 自动化脚本安装方案
运维·自动化·rabbitmq
key_Go5 小时前
0.基于Centos-Stream8 搭建Openstack环境
linux·运维·centos·openstack
Elastic 中国社区官方博客5 小时前
介绍 Elastic 的 Agent Builder - 9.2
大数据·运维·人工智能·elasticsearch·搜索引擎·ai·全文检索