Kestrel_VLLM - 25 · 全注意力层设备化、整层对拍与访存粒度一句话:把 64 层里剩下的 16 层 full attention 也搬上设备后,两类层都完成了设备化;接着用「整层对拍 → 逐级下钻 → 单核微基准 → 端到端验收」这条链定位「单层对得上、整模型一时对不上」的原因,最后落到一刀访存粒度,端到端从 27.2 ms/token 走到 18.9 ms/token。 前置:建议先读 第 24 篇(GDN 48 层设备化)。 环境:x86-64 + NVIDIA RTX 5090(32607 MiB / sm_120);模型 Qwen3.5-27B q4;参考