mac本地部署Qwq-32b记录

导语

昨天看到阿里开源了Qwq-32b，号称性能可以媲美Deepseek-R1。今天晚上有空就在Mac上折腾了一下，使用ollma进行了部署，效果感觉还不错，特此记录。

环境

硬件

型号：Macbook M1 Pro 14寸
内存：512G

环境配置

首先需要安装ollama，直接前往Ollama官网下载对应系统版本安装包并进行安装即可。

之后，打开命令行（mac是zsh），输入

bash 复制代码

jiexing@MacBook-M1-Pro ~ % ollama run qwq
pulling manifest 
pulling c62ccde5630c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  19 GB                         
pulling 41190096a061... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.2 KB                         
pulling d18a5cc71b84... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 4afe5edfdb51... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏   77 B                         
pulling 6a8faa2fb8b0... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  488 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 请介绍一下你自己
<think>

</think>

你好！我是通义千问，阿里巴巴集团旗下的超大规模语言模型。我可以帮助你回答问题、创作文字，比如写故事、写公文、写邮件、写剧本，进行逻辑推理、编程等。我熟练掌握多种语言，包括但不限于中文、英文、德语、法语、西班牙语等。

如果你有任何问题或需要帮助，欢迎随时告诉我！

WebUI搭建

完成部署后，看着简陋的命令行背景，感觉还是不如chatgpt、Deepseek那些网页版体验好，于是找了一下如何部署一个Web UI。主要参考ollama-webui-lite项目，尝试如下：

首先需要clone项目：

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite

然后运行

yarn

结果我这里报错

zsh command not found yarn

于是我使用brew来安装yarn，直接brew install yarn是无法成功的，经过搜索发现需要更新brew update，然后顺利安装yarn。

在运行之前，还需要确保本机的node>=16，可以直接使用
brew install node来安装。

启动界面

在项目目录下，运行yarn dev，即可成功设置WebUI，点击 http://localhost:3000/ 即可打开本地的WebUI。

bash 复制代码

jiexing@MacBook-M1-Pro ollama-webui-lite % yarn dev
yarn run v1.22.22
$ vite dev --host --port 3000

Forced re-optimization of dependencies

  VITE v4.5.9  ready in 499 ms

  ➜  Local:   http://localhost:3000/
  ➜  Network: http://192.168.71.174:3000/
  ➜  Network: http://10.50.50.18:3000/
  ➜  press h to show help