mac本地部署Qwq-32b记录

导语

昨天看到阿里开源了Qwq-32b,号称性能可以媲美Deepseek-R1。今天晚上有空就在Mac上折腾了一下,使用ollma进行了部署,效果感觉还不错,特此记录。

环境

硬件

  • 型号:Macbook M1 Pro 14寸
  • 内存:512G

环境配置

首先需要安装ollama,直接前往Ollama官网下载对应系统版本安装包并进行安装即可。

之后,打开命令行(mac是zsh),输入

bash 复制代码
jiexing@MacBook-M1-Pro ~ % ollama run qwq
pulling manifest 
pulling c62ccde5630c... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  19 GB                         
pulling 41190096a061... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.2 KB                         
pulling d18a5cc71b84... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 4afe5edfdb51... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏   77 B                         
pulling 6a8faa2fb8b0... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████▏  488 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 请介绍一下你自己
<think>

</think>

你好!我是通义千问,阿里巴巴集团旗下的超大规模语言模型。我可以帮助你回答问题、创作文字,比如写故事、写公文、写邮件、写剧本,进行逻辑推理、编程等。我熟练掌握多种语言,包括但不限于中文、英文、德语、法语、西班牙语等。

如果你有任何问题或需要帮助,欢迎随时告诉我!

WebUI搭建

完成部署后,看着简陋的命令行背景,感觉还是不如chatgpt、Deepseek那些网页版体验好,于是找了一下如何部署一个Web UI。主要参考ollama-webui-lite项目,尝试如下:

首先需要clone项目:

复制代码
git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite

然后运行

复制代码
yarn

结果我这里报错

复制代码
zsh command not found yarn

于是我使用brew来安装yarn,直接brew install yarn是无法成功的,经过搜索发现需要更新brew update,然后顺利安装yarn。

在运行之前,还需要确保本机的node>=16,可以直接使用
brew install node来安装。

启动界面

在项目目录下,运行yarn dev,即可成功设置WebUI,点击 http://localhost:3000/ 即可打开本地的WebUI。

bash 复制代码
jiexing@MacBook-M1-Pro ollama-webui-lite % yarn dev
yarn run v1.22.22
$ vite dev --host --port 3000

Forced re-optimization of dependencies

  VITE v4.5.9  ready in 499 ms

  ➜  Local:   http://localhost:3000/
  ➜  Network: http://192.168.71.174:3000/
  ➜  Network: http://10.50.50.18:3000/
  ➜  press h to show help
相关推荐
机器之心29 分钟前
谷歌nano banana正式上线:单图成本不到3毛钱,比OpenAI便宜95%
人工智能·openai
兰亭妙微29 分钟前
从线到机:AI 与多模态交互如何重塑 B 端与 App 界面设计
人工智能·小程序·交互·用户体验设计公司
MansFlower38 分钟前
Gemini 2.5 Flash Image Preview:nano banana
人工智能
机器之心1 小时前
拒稿警告,靠大模型「偷摸水论文」被堵死,ICLR最严新规来了
人工智能·openai
算家计算1 小时前
“下一代”图像模型——ComfyUI-Flux-Krea本地部署教程,体验划时代的图像质量
人工智能·开源·flux
算家计算2 小时前
国务院发布“人工智能+”行动意见,算力基建或将迎来风口!
人工智能·云计算·资讯
johnny2332 小时前
文本转语音TTS工具合集(下)
人工智能
艾醒2 小时前
大模型面试题剖析:大模型微调与训练硬件成本计算
人工智能·后端·算法
三花AI2 小时前
风口真的要来了,国务院关于深入实施“人工智能+”行动的意见
人工智能·开源
LLM精进之路2 小时前
上海AI实验室突破扩散模型!GetMesh融合点云与三平面,重塑3D内容创作
人工智能·深度学习·机器学习·语言模型·transformer