为了能够跟上技术时代的潮流，这段时间买了一个新的电脑，带着一个 16G 的显卡，能够让我尝试一些本地大模型的部署。前天是最早开始尝试，昨天算是有了一点点的进展。昨天的成果是把千问 3.6-35B-A3B 四比特的量化版本跑起来了，每秒钟能够生成的 token 速度大概是 40 左右。就在这样的基础上，我也尝试测试了一下我可能用到它的一些使用场景。比如说是写写脚本，再比如说是接入到我的 Agent 里面进行一些闭环的操作。感觉不管是写文档、写代码，还是尝试做一些其他的复杂工作，问题都不是特别大。唯一感觉出乎意料的就是风扇的呼呼声，的的确确，说来就来。
今天再度尝试，感觉基本上找到了一点优化的路子，让我尝试的这个模型在我的电脑上有了更好的体验。
今天首先尝试的是 27B 的模型，因为早期的时候看到了一个 27B 的三只版量化模型，说是能够在 8G 的显存之内完全装得下，而且整体的效果相距满血版的差距并不是特别大，因此我也想去尝试一下。但是这个版本花费了我好长的时间，最终没有取得很好的效果。因为不管我怎么去尝试修改，都没法让它只在 GPU 下进行推理计算，它总是占用大量的 RAM，然后去跑 CPU。后续这个问题我倒是可以继续尝试解决一下。然而你要说 GPU 没有配置对，它尝试用 CPU 去填补，这也说不过去，因为不管是集成显卡还是独立显卡，都让它占走了一定的空间。经过好几次启动、关闭、启动、关闭的循环，基本上能够看得出来，这个空间的确确是被它占走了，但是工作的效果就是不是很好。后来基本上就把这个给放弃了，专心打磨 A3B 的模型。
关于 A3B 的模型的打磨也分为两个阶段。第一个阶段是四比特量化的版本，继续打磨，最终取得的成果也是比较不错的。原本我实现的配置能够让它稳定在 40 token 每秒的速度。今天打磨之后，这个能够稳定在 50 以上的速度，大部分时候还是在 60 以上，这个体验就非常好了。现在有人工智能的分析辅助，想去不断地调整改进，基本上是很简单的。我们只需要了解这个反馈的模式，然后结合我们自己简单的分析，说出我们的怀疑点，让人工智能给我们做一做分析，给出对应的改进，基本上就能看到一个很好的改进效果。下面是我的四比特量化版本的启动脚本。
vbnet
llama-server ^
--host 0.0.0.0 ^
--port 8080 ^
-m "C:\llama.cpp\models\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" ^
-ngl 999 ^
-c 32768 ^
-t 6 ^
--flash-attn on ^
--n-cpu-moe 15 ^
-ctk q8_0 ^
-ctv q8_0 ^
-b 2048 ^
-ub 2048 ^
--no-mmap
在进行这个脚本参数修改测试的同时，查到了一个 MTP 加速的手段，说是能够加速接近两倍。于是我也尝试进行了这方面的一个改进。首先是找到了 MTP 版本的量化文件。但是尝试了好长时间，不管是怎么修改，都取不得很好的效果。后来发现在 MTP 的这个项目之下，其实还包含了很多非 MTP 的量化版本，而我下载的这个版本是不支持 MTP 的。后来重新找了一下，找到了支持的版本。同时这个版本也是一个 IQ 3 量化的版本。占用的资源更少，速度也更快。
基于这个版本，通过 DeepSeek 以及千问大模型的分析，找到了一个相对合理的配置。在我的这个电脑上实际测试，速度基本上稳定在 80 token 以上。配合 agent 使用的时候，在终端中查看工作的 log，有时候能看到峰值 token 生成数可能在 130 左右。我用这个版本尝试写代码、写文档等测试，感觉这个等待时间短了很多，非常丝滑。
像这种参数量的模型，可能在推测能力、智商程度各个方面并不是出类拔萃，但是在替代我们解决一些繁重的工作方面应该是比较出色的。其实我并不是很期待这些工具能够 100% 的取代我的工作，我感觉它们也很难 100% 的取代我的工作。或者说，我倒是期待它们能够 100% 的取代我的工作。然而，就我现在的分析来看，我觉得它们是做不到的。因此还不如从最初的这个时间点就不要让自己进入一个误区，我们需要学习的是跟人工智能共生，让人工智能辅助我们尽快的把最有价值的信息装入到我们的大脑，而不是说是让它们对我们进行一个完全的取代。基于这样的考虑，我觉得如果是现在世界排名第一的模型，满血版本能够做到 100 分，像我手里的这个模型，如果是能得到五六十分，我就觉着这还是可以的。并且对于我们的工作、学习以及生活，都是有比较好的改进和改善效果的。尤其是当我们配合 Agent 使用的时候，还有很多条件边界能够让它工作得更加准确，这样原本五六十分的能力，有时候也能做到八九十分的效果。只是在这个过程之中，可能我们投入的时间会多一点，但是这也无所谓，毕竟机器是可以 24 小时工作的。
接下来分享一下我这个 IQ 三 MTP 量化版本的启动配置，我觉得还是具备非常好的可用性的。
vbnet
llama-server ^
--host 0.0.0.0 ^
--port 8080 ^
-m "C:\llama.cpp\models\Qwen3.6-35B-A3B-UD-IQ3_S.gguf" ^
-ngl 99 ^
-t 24 ^
-np 1 ^
-fa on ^
--spec-type draft-mtp --spec-draft-n-max 2 ^
-b 1024 ^
-ub 1024 ^
-ctk q8_0 ^
-ctv q8_0 ^
--main-gpu 1 ^
--split-mode layer ^
--mlock ^
-c 65536经过这几天的折腾，投入了大量的时间，也有好几个晚上，睡眠时间都让自己给耗进去了。但是这几天的折腾，我觉得还是比较令人欣慰的，毕竟这让我看到了接下来有一个新的工作模式的产生。后面尝试对这些模型进行打磨，我觉得已经没有那么大的必要性了，毕竟现在的这个性能已经足够满足我的诉求了。接下来就是看看它对于我生产力以及质量的提升帮助了。