docker vllm 开机启动

vllm 启动inter val大模型

/workspace/.devcontainer/devcontainer.json

python 复制代码
{
    "name": "vLLM Dev Container",
    "image": "vllm/vllm-openai:v0.11.0",
    "runArgs": ["--gpus", "all",
               "-p", "8000:8000",
               "-p", "8080:8080",
               "--restart=unless-stopped"],
    "mounts": [
        "source=/data/lbg/models,target=/data/lbg/models,type=bind",
        "source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
    ],
    "workspaceFolder": "/workspace",
    "postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
    "customizations": {
        "vscode": {
            "extensions": [
                "ms-python.python",
                "ms-python.vscode-pylance"
            ]
        }
    }
}

重启验证:

bash 复制代码
# 手动停止容器,看它是否会自动重启
docker stop latex-ai-container

# 等待 15 秒
sleep 15

# 检查容器是否自动启动
docker ps | grep latex-ai-container
预期结果:容器应该自动重新启动(因为 unless-stopped 策略)。

3. 测试系统重启(最终验证)
bash
# 重启整个系统
sudo reboot

# 系统重启后,重新登录,执行:
docker ps | grep latex-ai-container
curl http://localhost:8080/health
相关推荐
A-刘晨阳6 小时前
K8S 二进制集群搭建(一主两从)v1.37.2 版本
运维·云原生·容器·kubernetes·calico·nerdctl
lambo mercy8 小时前
01初识docker
运维·docker·容器
时间的拾荒人9 小时前
Docker 容器、仓库与数据管理实战
docker·容器·eureka
时间的拾荒人11 小时前
Docker 入门实战:从核心概念、安装配置到镜像操作与 Dockerfile 定制
运维·docker·容器·eureka
时间的拾荒人11 小时前
Docker Compose 编排实战:从命令详解到 Redis Cluster 三主三从部署
docker·部署·集群
goyeer12 小时前
【Kubernetes】Kubernetes之CRI详解
java·容器·kubernetes
wz975412 小时前
Kubernetes Pod 深度详解:K8s 最小调度单元
云原生·容器·kubernetes
xbzb1 天前
Kubernetes 节点删除后还有残留?drain、reset 与集群销毁重建全流程
容器·kubernetes·kubectl·集群·reset·drain
正在走向自律1 天前
Infra 现代研发基础设施实战:从 IaC、K8s 到平台工程与可观测性
云原生·容器·kubernetes·terraform·github actions·infra
AI开源软件1 天前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office