1923_Qwen 3.6-35B-A3B的本地部署与调优为了能够跟上技术时代的潮流,这段时间买了一个新的电脑,带着一个 16G 的显卡,能够让我尝试一些本地大模型的部署。前天是最早开始尝试,昨天算是有了一点点的进展。昨天的成果是把千问 3.6-35B-A3B 四比特的量化版本跑起来了,每秒钟能够生成的 token 速度大概是 40 左右。就在这样的基础上,我也尝试测试了一下我可能用到它的一些使用场景。比如说是写写脚本,再比如说是接入到我的 Agent 里面进行一些闭环的操作。感觉不管是写文档、写代码,还是尝试做一些其他的复杂工作,问题都不是特别大。唯一感觉出乎