MacOS下vllm运行Qwen3:8b模型

1 下载huggingface-cli命令

bash 复制代码
conda activate llm_env
conda install huggingface-cli
bash 复制代码
# 查看是否安装成功
hf version

输出:huggingface_hub version: 0.36.0

2 使用 huggingface-cli下载(可设置镜像)

bash 复制代码
# 设置镜像端点
export HF_ENDPOINT=https://hf-mirror.com
# 下载模型
hf download --resume-download Qwen/Qwen3-8B --local-dir ./Qwen3-8B

3 vllm运行Qwen3-8B

bash 复制代码
vllm serve ~/Qwen3-8B
相关推荐
csdn_aspnet1 天前
macOS 10 、Docker 玩轉 MySQL
运维·mysql·macos·docker·容器·mac
秋雨梧桐叶落莳1 天前
【iOS】Block底层详解
macos·ios·cocoa
爱笑的k113 天前
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
开发语言·python·vllm
高调的涵涵3 天前
café 和 café 不是一个文件名
macos
独隅5 天前
WebStorm macOS 安装部署与高效调优完全指南
ide·macos·webstorm
独隅6 天前
WebStorm macOS 安装调优与实战效能全景
ide·macos·webstorm
2601_967987376 天前
安装 Redis 或 Redis Stack
linux·windows·redis·macos·安装
高调的涵涵6 天前
1GB 文件,df 说没占地方
macos
奶油话梅糖6 天前
苹果的内核跑上了安卓手机:2,631 Star 的 HakiOS 让 XNU 在 Adreno GPU 上画出 118 帧
android·macos·智能手机
code2cat7 天前
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
缓存·大语言模型·vllm