一文从零部署vLLM+qwen0.5b(mac本地版,不可以实操GPU单元)

第一步:下载anaconda for mac

https://zhuanlan.zhihu.com/p/350828057 知乎保姆级教程

https://www.anaconda.com/docs/getting-started/anaconda/install#macos-linux-installation 下载地址

第二步:部署vllm的虚拟环境

https://www.53ai.com/news/OpenSourceLLM/2025040116542.html

注意⚠️ vllm不支持python 3.13及以上版本,所以配置时得指定

https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html

conda create -n usingvllm python=3.10 jupyter

conda activate usingvllm

git clone https://github.com/vllm-project/vllm.git 已经clone

pip install torch torchvision

一次性安装所有 vLLM 的依赖

pip install -e .

如果报了error可能是没有install成功。

检查

du -sh ~/.cache/huggingface/hub/models--tiiuae--falcon-7b-instruct

删除

rm -rf ~/.cache/huggingface/hub/models--tiiuae--falcon-7b-instruct

第三步:从offline_inference+qwen3入手

快速开始:本地推理从examples/offline_inference/basic/basic.py开始

● LLM 是用于运行 vLLM 引擎离线推理的主类。

● SamplingParams 指定了采样过程的参数。

sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

● 采样温度(输出的随机程度):越小越保守(0.1),越高越创造性(1.0-1.2)

● 核心采样概率top_p(nucleus sampling):采样时候选词概率总和,表示模型会从累计概率为前 95% 的候选词中选一个(对比top-k 选前k个词)

llm = LLM(model="facebook/opt-125m")

● 模型从https://huggingface.co/Qwen/Qwen3-0.6B

在线服务从examples/online_serving/openai_completion_client.py开始

第四步:本地跑serve出错及解决

Load and run the model:

vllm serve "Qwen/Qwen3-0.6B"

● 解决------不选择默认的=4,调整最大maxlen:

export VLLM_CPU_KVCACHE_SPACE=8

vllm serve "Qwen/Qwen3-0.6B" --max-model-len 2048

已上在vsc部署成功(约等于把自己电脑当成服务器了)

另起终端

//Call the server using curl:

curl -X POST "http://localhost:8000/v1/chat/completions"

-H "Content-Type: application/json"

--data '{

"model": "Qwen/Qwen3-0.6B",

"messages": [

{

"role": "user",

"content": "What is the capital of France?"

}

]

}'

输出:

对应"服务器"输出:即为部署成功。

分析:

  1. WARNING [cpu.py:248] Pin memory is not supported on CPU.使用的是 CPU 环境(Mac M3 Pro 无 CUDA),这个警告是预期的,不会影响结果,只是说不能做 pinned memory 提速(只有 GPU 可用)。
  2. INFO [metrics.py:417] Avg prompt throughput: 3.0 tokens/s
    INFO [metrics.py:417] Avg generation throughput: 10.5 tokens/s
    模型每秒处理平均 3 个 prompt token,生成 token 平均 10.5 个/s,对于 Mac CPU 跑的模型来说,这个速度是完全合理的(0.6B 的 Qwen 模型)
  3. INFO: 127.0.0.1:58210 - "POST /v1/chat/completions HTTP/1.1" 200 OK
    响应状态码 200,说明接口调用完全成功,用 curl 或 Python requests.post() 调用的 API 得到了返回结果
相关推荐
沫儿笙3 小时前
FANUC发那科焊接机器人铝材焊接节气
人工智能·机器人
THMAIL3 小时前
量化股票从贫穷到财务自由之路 - 零基础搭建Python量化环境:Anaconda、Jupyter实战指南
linux·人工智能·python·深度学习·机器学习·金融
~-~%%4 小时前
从PyTorch到ONNX:模型部署性能提升
人工智能·pytorch·python
xcnn_4 小时前
深度学习基础概念回顾(Pytorch架构)
人工智能·pytorch·深度学习
attitude.x4 小时前
PyTorch 动态图的灵活性与实用技巧
前端·人工智能·深度学习
骥龙4 小时前
XX汽集团数字化转型:全生命周期网络安全、数据合规与AI工业物联网融合实践
人工智能·物联网·web安全
zskj_qcxjqr4 小时前
告别传统繁琐!七彩喜艾灸机器人:一键开启智能养生新时代
大数据·人工智能·科技·机器人
Ven%4 小时前
第一章 神经网络的复习
人工智能·深度学习·神经网络
研梦非凡5 小时前
CVPR 2025|基于视觉语言模型的零样本3D视觉定位
人工智能·深度学习·计算机视觉·3d·ai·语言模型·自然语言处理