【linux 安装vllm=0.5.4】

  • 环境

    • linux:ubuntu 22.04
    • cuda:11.8
  • 创建环境

    shell 复制代码
    conda create -n vllm python=3.10
    conda activate vllm
  • 安装ninjia

    shell 复制代码
    sudo apt update
    sudo apt install ninja-build
  • 安装vllm

    shell 复制代码
    pip install vllm
  • 启动openai-server

    shell 复制代码
    VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]
    • <model_tag>:模型id,具体的查看modelscopehuggingface的repo
    • 查看vllm serve有哪些参数可选:vllm serve -h

不要从源码安装,很多的问题!!

相关推荐
万千思绪9 分钟前
【PyCharm 2025.1.2配置debug】
ide·python·pycharm
饥饿的半导体20 分钟前
Linux快速入门
linux·运维
BD_Marathon31 分钟前
Ubuntu:Tomcat里面的catalina.sh
linux·ubuntu·tomcat
BD_Marathon31 分钟前
设置LInux环境变量的方法和区别_Ubuntu/Centos
linux·ubuntu·centos
Me4神秘35 分钟前
Linux国产与国外进度对垒
linux·服务器·安全
zhaowangji1 小时前
ubuntu 20.04 安装中文输入法 (sougou pin yin)
linux·ubuntu
两斤半1 小时前
Debian TTY环境乱码
linux·debian
微风粼粼2 小时前
程序员在线接单
java·jvm·后端·python·eclipse·tomcat·dubbo
云天徽上2 小时前
【PaddleOCR】OCR表格识别数据集介绍,包含PubTabNet、好未来表格识别、WTW中文场景表格等数据,持续更新中......
python·ocr·文字识别·表格识别·paddleocr·pp-ocrv5
你怎么知道我是队长2 小时前
python-input内置函数
开发语言·python