【linux 安装vllm=0.5.4】

  • 环境

    • linux:ubuntu 22.04
    • cuda:11.8
  • 创建环境

    shell 复制代码
    conda create -n vllm python=3.10
    conda activate vllm
  • 安装ninjia

    shell 复制代码
    sudo apt update
    sudo apt install ninja-build
  • 安装vllm

    shell 复制代码
    pip install vllm
  • 启动openai-server

    shell 复制代码
    VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]
    • <model_tag>:模型id,具体的查看modelscopehuggingface的repo
    • 查看vllm serve有哪些参数可选:vllm serve -h

不要从源码安装,很多的问题!!

相关推荐
wangjun51591 分钟前
linux,物理机、虚拟机,同时内外网实现方案;物理机与虚拟机互通网络;
linux·服务器·网络
杰克崔5 分钟前
分析sys高问题的方法总结
linux·运维·服务器
WSSWWWSSW6 分钟前
安装nfs客户端(centos)
linux·运维·centos
带娃的IT创业者9 分钟前
《Python实战进阶》No39:模型部署——TensorFlow Serving 与 ONNX
pytorch·python·tensorflow·持续部署
Bruce-li__16 分钟前
深入理解Python asyncio:从入门到实战,掌握异步编程精髓
网络·数据库·python
九月镇灵将26 分钟前
6.git项目实现变更拉取与上传
git·python·scrapy·scrapyd·gitpython·gerapy
小张学Python1 小时前
AI数字人Heygem:口播与唇形同步的福音,无需docker,无需配置环境,一键整合包来了
python·数字人·heygem
李迟1 小时前
跨系统平台实践:在内网自建kylin服务版系统yum源
linux
跳跳糖炒酸奶1 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
odoo-卜永1 小时前
ubuntu22.04连接爱普生打印机型号L385
linux·经验分享·ubuntu