【2026】记录在windows编译llama.cpp步骤,AMD CPU本地部署千问3.5本地大模型,内存占用低

前言

我的电脑是AMD的+32G内存,没有GPU ,偏要玩一玩千问3.5本地大语言模型 ,github上下载的llama安装包,无法使用,只有自己编译试试了。注意我是编译CPU版本的,你有GPU这篇别看了。

以下是我的CPU型号:

1. 下载CMAKE

官网下载地址

或者下载我上传的,注意这是64位

链接:https://pan.quark.cn/s/57d6d1f65309

提取码:cYQk

2. 下载VS2022

VS2022官网下载地址

或者下载我上传的

链接:https://pan.quark.cn/s/57d6d1f65309

提取码:cYQk

勾上这个安装就行

安装后重启电脑

3. 下载大语言模型Qwen3.5-0.8(可选)

我垃圾电脑CPU选择0.8B量化小模型试试,你可以选择别的大一点的模型,也可以选择0.8B的其他量化版本
Qwen3.5-0.8B官网下载地址

或者下载我上传的

链接:https://pan.quark.cn/s/57d6d1f65309

提取码:cYQk

4. 拉取llama代码&编译

打开开始菜单,找到vs2022的专用powershell,单击打开

执行如下命令,注意我是编译CPU版本的,你有GPU这篇别看了

bash 复制代码
git clone git clone https://github.com/ggml-org/llama.cpp.git --depth=1
cd llama.cpp
mkdir build
cd build
cmake .. -G "Visual Studio 17 2022" -A x64 -DLLAMA_CURL=OFF
cmake --build . --config Release

编译完后进入目录

bash 复制代码
cd bin
cd Relase
ls

执行

bash 复制代码
llama-cli --help

可以看到打印就算是安装成功了

跑Qwen3.5-0.8B试试

bash 复制代码
 .\llama-cli.exe -m 你的路径\Qwen3.5-0.8B-Q4_K_M.gguf  -c 4096

-c 4096代表4k上下文,千问3.5-0.8B最大是支持256k,改成

bash 复制代码
 .\llama-cli.exe -m D:\model\Qwen3.5-0.8B-Q4_K_M.gguf  -c 262144

实测跑起来了速度还行,37 token / s

内存使用情况,还不错内存只用了12G左右,CPU用了70%。

相关推荐
Vex2une15 小时前
JDK 8 下载安装与环境变量配置完整指南(Windows新手图文教程)
java·windows·环境配置·环境变量·jdk8·jdk下载安装·java入门教程
星空孤辰20 小时前
【camera 008】android camera id 注册、状态监控等状态变化 全流程梳理
android·windows
全方位办公软件21 小时前
Windows音频服务架构解析:AudioSrv与AudioEndpointBuilder排障
windows·命令行·powershell·音频服务·驱动修复·mmdevices·audiosrv
柠檬树下小码农1 天前
QNX stress-ng工具编译
cpu·高通·qnx·stress-ng
manageengine2 天前
服务器 CPU 100% 怎么排查:8 条命令从现象定位到根因
运维·服务器·cpu
Vex2une2 天前
电脑装双系统怎么弄?Win+Win 与 Win+Linux 安装及启动菜单管理全攻略
linux·windows·电脑·uefi·双系统安装·bcdedit启动项
无情的西瓜皮2 天前
eMudhra 根证书自 11-16 起失去微软产品默认信任:4 步 PowerShell 自查你的 Windows 是否已收到变更(Win11 实测)
windows·powershell
Funlang3 天前
在 Windows NT 3.5 上跑 Fun
windows
益企研究院3 天前
AMD X 火山引擎 第六代 EPYC 云实例为云上多元工作负载带来新能力
火山引擎·amd
xx z4 天前
directx修复工具下载(DirectX Repair 增强版 使用说明)
windows·系统·工具·软件