Windows搭建CUDA大模型Docker环境

Windows搭建CUDA大模型Docker环境

一、安装Docker

二、拉取镜像

  • 系统:Ubuntu20.04
  • CUDA版本:11.8.0
bash 复制代码
docker pull nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

三、启动容器

bash 复制代码
docker run --gpus=all -it --name llm_env -p 8080:8000 nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

四、安装依赖环境

bash 复制代码
apt-get update -yq --fix-missing
DEBIAN_FRONTEND=noninteractive
apt-get install -yq --no-install-recommends pkg-config wget cmake curl git vim

五、安装Miniconda3

bash 复制代码
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh -b -u -p ~/miniconda3
~/miniconda3/bin/conda init
source ~/.bashrc

六、设置pip源地址

bash 复制代码
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
相关推荐
Univin21 分钟前
8.25作业
数据结构·windows
徐子元竟然被占了!!28 分钟前
Windows Server 2019 DateCenter搭建 FTP 服务器
运维·服务器·windows
-L728 分钟前
进入docker中mysql容器的方法
运维·mysql·docker·容器
winkel_wang29 分钟前
身份管理与安全 (Protect identities)
windows·安全
明月与玄武1 小时前
Docker化性能监控平台搭建:JMeter+InfluxDB+Grafana全攻略
jmeter·docker·grafana
正经教主1 小时前
[特殊字符]Windows 资源监视器使用指南:查端口以后不用敲命令了
windows
df007df3 小时前
【RAGFlow代码详解-29】Docker 部署
运维·docker·容器
Monly215 小时前
Docker:部署Java后端
java·docker·容器
zjjuejin6 小时前
Docker实战指南:安装、配置与部署
docker
小王努力学编程8 小时前
从零开始的 Docker 之旅
linux·运维·服务器·docker·容器·容器编排·镜像制作