MacOS下vllm运行Qwen3:8b模型

1 下载huggingface-cli命令

conda activate llm_env
conda install huggingface-cli

# 查看是否安装成功
hf version

输出：huggingface_hub version: 0.36.0

2 使用 huggingface-cli下载（可设置镜像）

# 设置镜像端点
export HF_ENDPOINT=https://hf-mirror.com
# 下载模型
hf download --resume-download Qwen/Qwen3-8B --local-dir ./Qwen3-8B

3 vllm运行Qwen3-8B

vllm serve ~/Qwen3-8B