Windows搭建CUDA大模型Docker环境

Windows搭建CUDA大模型Docker环境

一、安装Docker

二、拉取镜像

  • 系统:Ubuntu20.04
  • CUDA版本:11.8.0
bash 复制代码
docker pull nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

三、启动容器

bash 复制代码
docker run --gpus=all -it --name llm_env -p 8080:8000 nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

四、安装依赖环境

bash 复制代码
apt-get update -yq --fix-missing
DEBIAN_FRONTEND=noninteractive
apt-get install -yq --no-install-recommends pkg-config wget cmake curl git vim

五、安装Miniconda3

bash 复制代码
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh -b -u -p ~/miniconda3
~/miniconda3/bin/conda init
source ~/.bashrc

六、设置pip源地址

bash 复制代码
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
相关推荐
only_Klein1 小时前
K8S部署ELK(一):部署Filebeat日志收集器
elk·容器·kubernetes
枫叶梨花1 小时前
使用Go语言获取Windows系统信息:从CPU到电池的全维度监控
开发语言·windows·golang
Generalzy2 小时前
快速搭建一个非生产k8s环境
云原生·容器·kubernetes
David爱编程2 小时前
Flannel 网络原理及实践指南:Kubernetes 容器通信的第一步
云原生·容器·kubernetes
企鹅侠客4 小时前
2 安装 Docker 和 Jenkins:持续构建环境起步
docker·容器·jenkins·持续构建环境部署
液态不合群5 小时前
ArrayDeque双端队列--底层原理可视化
windows
庸子5 小时前
kubectl基础操作实战-k8s集群安装
云原生·容器·kubernetes
only_Klein14 小时前
K8S部署ELK(五):集成Kibana实现日志可视化
elk·容器·kubernetes
gs8014016 小时前
GitLab Docker Compose 迁移后 Redis 权限问题排查与解决
redis·docker·gitlab