【linux 安装vllm=0.5.4】

  • 环境

    • linux:ubuntu 22.04
    • cuda:11.8
  • 创建环境

    shell 复制代码
    conda create -n vllm python=3.10
    conda activate vllm
  • 安装ninjia

    shell 复制代码
    sudo apt update
    sudo apt install ninja-build
  • 安装vllm

    shell 复制代码
    pip install vllm
  • 启动openai-server

    shell 复制代码
    VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]
    • <model_tag>:模型id,具体的查看modelscopehuggingface的repo
    • 查看vllm serve有哪些参数可选:vllm serve -h

不要从源码安装,很多的问题!!

相关推荐
亲持红叶43 分钟前
Chapter4.3:Implementing a feed forward network with GELU activations
人工智能·python·gpt·自然语言处理·transformer
mit6.8241 小时前
[Qt] 信号和槽(2) | 多对多 | disconnect | 结合lambda | sum
linux·前端·c++·qt·学习
m0_748255411 小时前
问题:Flask应用中的用户会话(Session)管理失效
后端·python·flask
小青柑-1 小时前
完整的 Pillow 使用教程
图像处理·python·pillow
码农丁丁1 小时前
[python3]Excel解析库-XlsxWriter
python·excel·xlsxwriter
君败红颜1 小时前
Java 正则表达式入门与应用(详细版)
java·python·正则表达式
menge23331 小时前
安装MySQL的五种方法(Linux系统和Windows系统)
linux·数据库·mysql
gonghw4031 小时前
Linux开机LOGO更换以及附带问题
linux·c++
zslefour1 小时前
在ComfyUI的python_embeded下编译安装module
python·comfyui
fmdpenny1 小时前
用Python进行RU计算
开发语言·python·opencv