Ubuntu 单机多卡部署脚本: vLLM + DeepSeek 70B

部署脚本:Ubuntu + vLLM + DeepSeek 70B

执行前请确保:1. 系统为 Ubuntu 20.04/22.04 2. 拥有NVIDIA显卡(显存≥24G)

保存两个文件 1 init.sh 初始化 2、test.sh 测试

init.sh

复制代码
#!/bin/bash
# 系统更新与基础依赖

sudo apt update && sudo apt upgrade -y

sudo apt install -y build-essential python3-pip curl git wget

# NVIDIA驱动安装(需重启)

#sudo add-apt-repository ppa:graphics-drivers/ppa -y

#sudo apt update

#sudo apt install -y nvidia-driver-550-server

echo "请手动重启系统后再次执行本脚本!"

echo "sudo reboot "
exit 0  # 首次执行到此退出 

---- 以下为重启后执行的第二部分 ----

#test.sh

复制代码
#!/bin/bash
set -e
set -o pipefail

# 模型下载示例(替换为实际模型ID)
MODEL_ID="deepseek-ai/DeepSeek-R1-Distill-Llama-70B"
python - <<EOF
from modelscope import snapshot_download
snapshot_download('$MODEL_ID', cache_dir='./models')
EOF

# 启动服务
vllm serve  ./models/$MODEL_ID  --tensor-parallel-size 8 --gpu-memory-utilization 0.95 --port 6006  --max-model-len 8192 &
SERVER_PID=$!
echo "Serve PID $SERVER_PID"
# 检查 PID 和端口的函数
check_status() {
    # 检查 PID 是否存在
    if [[ -z "$SERVER_PID" ]]; then
        echo "错误:SERVER_PID未定义"
        exit 1
    fi

    if ! kill -0 $SERVER_PID > /dev/null 2>&1; then
        echo "程序异常退出"
        exit 1
    fi
   sleep 3
    # 检查端口 6006 是否在使用(注意脚本中使用的是6006,而非8000)
    if ss -tuln | grep -q ':6006 '; then
        echo "服务已就绪"
        curl -i -k -X POST "http://localhost:6006/v1/chat/completions"  -H "Content-Type: application/json"  --data '{ "model": "/pde_ai/ssd_models/llm/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B", "Max_tokens": 1024, "Temperature": 0, "messages": [ { "role": "user", "content": "中国的首都在哪里?" } ] }'

        echo "退出服务 kill  $SERVER_PID"
        sleep 3
        kill  $SERVER_PID

        return 0
    else
        echo "服务未就绪"
        return 1
    fi
}

# 等服务成功后测试一下
while true; do
    if check_status; then
        sleep 1
    else
        echo "程序异常退出"
        exit 1
    fi
done

保存完后

chmod +x *.sh 设置为可执行

第一次也只要一次运行 init.sh 后重启服务器

后面测试 只要 test.sh ,test.sh 第一次需要下载模型会慢一些.

相关推荐
亅-丿-丶丿丶一l一丶-/^n2 小时前
deep research|从搜索引擎到搜索助手的实践(一)
人工智能·搜索引擎·deep research
AIbase20242 小时前
大模型对比评测:Qwen2.5 VS Gemini 2.0谁更能打?
搜索引擎
Elastic 中国社区官方博客3 小时前
用于 UBI 的 Elasticsearch 插件:从搜索查询中分析用户行为
大数据·数据库·elasticsearch·搜索引擎·全文检索
wdfk_prog3 小时前
实战指南:如何将Git仓库中的特定文件夹及其历史完整迁移到另一个仓库
大数据·linux·运维·笔记·git·学习·elasticsearch
Yzxs0093 小时前
【8月优质EI会议合集|高录用|EI检索稳定】计算机、光学、通信技术、电子、建模、数学、通信工程...
大数据·人工智能·算法·计算机视觉·信息与通信
阿里云大数据AI技术4 小时前
DataWorks千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
大数据·数据库·数据挖掘
zxsz_com_cn7 小时前
智能化设备维护:开启高效运维新时代
大数据·数据库·人工智能
qq_463944867 小时前
【Spark征服之路-4.3-Kafka】
大数据·spark·kafka
黄雪超8 小时前
Kafka——常见工具脚本大汇总
大数据·分布式·kafka
siliconstorm.ai9 小时前
AWS 算力瓶颈背后:生成式 AI 的基础设施战争
大数据·人工智能·chatgpt