【linux 安装vllm=0.5.4】

  • 环境

    • linux:ubuntu 22.04
    • cuda:11.8
  • 创建环境

    shell 复制代码
    conda create -n vllm python=3.10
    conda activate vllm
  • 安装ninjia

    shell 复制代码
    sudo apt update
    sudo apt install ninja-build
  • 安装vllm

    shell 复制代码
    pip install vllm
  • 启动openai-server

    shell 复制代码
    VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]
    • <model_tag>:模型id,具体的查看modelscopehuggingface的repo
    • 查看vllm serve有哪些参数可选:vllm serve -h

不要从源码安装,很多的问题!!

相关推荐
咸芝麻鱼42 分钟前
Django数据迁移出错,解决raise NodeNotFoundError问题
后端·python·django
小熙智菏——Sunspot1 小时前
Linux系统性能优化技巧
linux·运维·性能优化
Sinsa_SI1 小时前
2024年9月中国电子学会青少年软件编程(Python)等级考试试卷(六级)答案 + 解析
开发语言·python·等级考试·电子学会·考级
极客代码2 小时前
【Linux】内核驱动模块
linux·内核·内核模块·unix·驱动
关山月2 小时前
使用Python可视化展示排序算法
后端·python
不惑_2 小时前
【Python入门第七讲】列表(List)
开发语言·python·list
雪的期许2 小时前
Python/GoLang/Java 多环境管理工具 pyenv/goenv/jenv
开发语言·python·策略模式
EEE1even2 小时前
Linux服务器驱动安装
linux·运维·服务器
钰爱&2 小时前
【操作系统】Linux之网络编程(TCP)(头歌作业)
linux·网络·tcp/ip
xiaozhiwise2 小时前
Linux syscall
linux