最新测试，如果开启MTP功能，速度可以大幅提升5倍，思考速度可以达到150token每秒，这还是6G显存，虽然还是比较难用，但是已经可以堪堪摸到可用的门槛了，离谱！！！
做了个比较颠的测试，看看在6G显存的笔记本能不能运行这个350亿参数的大模型，得益于它的moe架构，可以把大部分模型参数放到内存里面去，好歹算是跑起来了，虽然运行的非常吃力。
显存占用5G，内存占用20G
推理的速度大概是8 Token每秒。
做了一个简单的代码理解工作，耗时4分钟多。
最后的llama 运行脚本奉上
@echo off
chcp 65001 > nul
REM Qwen3.6-35B-A3B MoE Server for 6G GPU
REM Usage: Normal llama.cpp + CPU-MOE offload + KV cache quantization
REM Only 3B params active per inference, inactive experts stay on disk
cd /d "f:\qwen35\llamagpu"
set MODEL=f:\qwen35\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf
set PORT=7777
set CTX_SIZE=320000
echo ============================================
echo Qwen3.6-35B-A3B MoE Server (6G GPU)
echo Model: Q4_K_M (~19GB)
echo Active Params: 3B / Total: 35B
echo API: http://localhost:%PORT%
echo ============================================
echo.
echo 6G GPU Tuning:
echo --n-cpu-moe: MOE layers on CPU (6G GPU try 40-50)
echo If OOM --^> increase --n-cpu-moe (45, 50)
echo If GPU low --^> decrease --n-cpu-moe (35, 30)
echo Goal: GPU VRAM ~80%%, room for KV cache
echo.
llama-server.exe ^
--host 0.0.0.0 ^
--port %PORT% ^
--timeout 600 ^
--threads -1 ^
--batch-size 2048 ^
--ctx-size %CTX_SIZE% ^
--n-gpu-layers 99 ^
--flash-attn auto ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--cont-batching ^
--metrics ^
--no-mmap ^
--n-cpu-moe 40 ^
--temp 0.7 ^
--top-p 0.8 ^
--top-k 20 ^
--min-p 0 ^
--presence-penalty 1.5 ^
--chat-template-kwargs "{\"enable_thinking\":false}" ^
--model %MODEL%
pause