【linux 安装vllm=0.5.4】

• 环境

  • linux：ubuntu 22.04
  • cuda：11.8

• 创建环境

  conda create -n vllm python=3.10
  conda activate vllm

• 安装ninjia

  sudo apt update
  sudo apt install ninja-build

• 安装vllm

  pip install vllm

• 启动openai-server

  VLLM_USE_MODELSCOPE=True vllm serve <model_tag> [--args]

  • <model_tag>：模型id，具体的查看modelscope、huggingface的repo
  • 查看vllm serve有哪些参数可选：vllm serve -h

不要从源码安装，很多的问题！！