稀疏化 - 稀疏化技术,学习,经验文章

thesky123456

1 天前

27届大模型岗面试准备（十一）：模型蒸馏与稀疏化——从软标签到结构化剪枝的压缩全景上一篇讲推理加速时留了个尾巴：KV Cache、PagedAttention 这些手段优化的是"怎么跑得快"，但模型本身的参数量没变。如果连模型都能变小、变稀疏，推理优化的天花板才能真正抬高。这就是今天的主题——知识蒸馏（Knowledge Distillation）与稀疏化（Sparsification）。