【linux 安装vllm=0.5.4】

  • 环境

    • linux:ubuntu 22.04
    • cuda:11.8
  • 创建环境

    shell 复制代码
    conda create -n vllm python=3.10
    conda activate vllm
  • 安装ninjia

    shell 复制代码
    sudo apt update
    sudo apt install ninja-build
  • 安装vllm

    shell 复制代码
    pip install vllm
  • 启动openai-server

    shell 复制代码
    VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]
    • <model_tag>:模型id,具体的查看modelscopehuggingface的repo
    • 查看vllm serve有哪些参数可选:vllm serve -h

不要从源码安装,很多的问题!!

相关推荐
Awesome Baron5 分钟前
《Learning Langchain》阅读笔记8-RAG(4)在vector store中存储embbdings
python·jupyter·chatgpt·langchain·llm
阡之尘埃8 分钟前
Python数据分析案例73——基于多种异常值监测算法探查内幕交易信息
人工智能·python·机器学习·数据分析·异常检测·无监督学习
带电的小王11 分钟前
sherpa-ncnn:Linux(x86/ARM32/ARM64)构建sherpa-ncnn --语音转文本大模型
linux·语音识别·实时音视频·sherpa-ncnn
沧浪之水!26 分钟前
【Linux网络】:套接字之UDP
linux·网络·udp
BranH28 分钟前
Linux系统中命令设定临时IP
linux·运维·服务器
秋风起,再归来~1 小时前
【Linux庖丁解牛】—进程优先级!
linux·运维·服务器
蓝莓味柯基1 小时前
Python3:文件操作
python
cosX+sinY1 小时前
ubuntu 20.04 编译运行lio-sam,并保存为pcd
linux·ubuntu·机器人
xiaoh_71 小时前
解决视频处理中的 HEVC 解码错误:Could not find ref with POC xxx【已解决】
python·ffmpeg·音视频
明月与玄武2 小时前
Python编程的真谛:超越语法,理解编程本质
python·编程语言