Windows搭建CUDA大模型Docker环境

青啊青斯2025-02-18 20:46

Windows搭建CUDA大模型Docker环境

一、安装Docker
二、拉取镜像
三、启动容器
四、安装依赖环境
五、安装Miniconda3
六、设置pip源地址

一、安装Docker

windows中docker安装教程

二、拉取镜像

系统：Ubuntu20.04
CUDA版本：11.8.0

bash 复制代码

docker pull nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

三、启动容器

bash 复制代码

docker run --gpus=all -it --name llm_env -p 8080:8000 nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

四、安装依赖环境

bash 复制代码

apt-get update -yq --fix-missing
DEBIAN_FRONTEND=noninteractive
apt-get install -yq --no-install-recommends pkg-config wget cmake curl git vim

五、安装Miniconda3

bash 复制代码

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh -b -u -p ~/miniconda3
~/miniconda3/bin/conda init
source ~/.bashrc

六、设置pip源地址

bash 复制代码

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple