剪枝

27届大模型岗面试准备（十一）：模型蒸馏与稀疏化——从软标签到结构化剪枝的压缩全景上一篇讲推理加速时留了个尾巴：KV Cache、PagedAttention 这些手段优化的是"怎么跑得快"，但模型本身的参数量没变。如果连模型都能变小、变稀疏，推理优化的天花板才能真正抬高。这就是今天的主题——知识蒸馏（Knowledge Distillation）与稀疏化（Sparsification）。

下篇：回溯与剪枝的「智慧寻宝人」——DFS 进阶与网格 / 图论应用掌握了基础回溯之后，DFS 的真正威力体现在二维网格、图结构、约束满足类问题中。本篇聚焦 DFS 在网格遍历、图连通性、复杂约束回溯中的高阶应用，带你学会「Flood Fill 泛洪算法」和「约束剪枝」两大杀器。

从入门到实战：深入浅出模型压缩三大核心——剪枝、彩票假设与知识蒸馏随着ChatGPT、Llama等大模型的兴起，“参数量爆炸”成为工业界部署的头号难题。模型压缩因此成为AI工程化落地的核心赛道。

z小猫不吃鱼

模型剪枝经典论文精读：DepGraph: Towards Any Structural Pruning论文题目：DepGraph: Towards Any Structural Pruning作者：Gongfan Fang、Xinyin Ma、Mingli Song、Michael Bi Mi、Xinchao Wang

剪枝与量化：让YOLO在边缘设备上高效部署# 剪枝与量化：让YOLO在边缘设备上高效部署## 背景与挑战计算机视觉模型在云端高性能GPU上已取得惊人精度，但当我们需要将YOLO部署到智能摄像头、无人机、可穿戴设备等边缘端时，模型体积大、推理延迟高、功耗受限等问题立刻浮现。例如，YOLO11n虽然已针对边缘优化，但在树莓派4B上运行仍可能达到200ms/帧，无法满足实时检测需求（<30ms/帧）。

z小猫不吃鱼

ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting论文题目：ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting

z小猫不吃鱼

模型剪枝经典论文精读：NISP: Pruning Networks using Neuron Importance Score Propagation论文题目：NISP: Pruning Networks using Neuron Importance Score Propagation

z小猫不吃鱼

模型剪枝经典论文精读：Pruning Filters for Efficient ConvNets论文题目：Pruning Filters for Efficient ConvNets作者：Hao Li、Asim Kadav、Igor Durdanovic、Hanan Samet、Hans Peter Graf

z小猫不吃鱼

模型剪枝经典论文精读：Channel Pruning for Accelerating Very Deep Neural Networks论文题目：Channel Pruning for Accelerating Very Deep Neural Networks

z小猫不吃鱼

05 Han 剪枝方法详解：Learning both Weights and Connections论文名称：Learning both Weights and Connections for Efficient Neural Networks 作者：Song Han, Jeff Pool, John Tran, William J. Dally 会议：Advances in Neural Information Processing Systems，NeurIPS 2015 论文链接：[1506.02626] Learning both Weights and Connections for Effi

z小猫不吃鱼

06 权重幅值剪枝、剪枝后微调与稀疏网络训练：模型剪枝中的三个基本问题在前面的文章中，我们已经介绍了几类经典剪枝思想：OBD：用 Hessian 对角项估计删除权重后的损失变化； OBS：用 Hessian 逆矩阵考虑删除权重后的参数补偿； Han Pruning：使用 Train-Prune-Retrain 流程进行深度网络剪枝。

z小猫不吃鱼

01 模型剪枝是什么？为什么深度模型需要剪枝？近几年，深度学习模型的规模越来越大。在计算机视觉中，从早期的 LeNet、AlexNet，到后来的 VGG、ResNet、DenseNet，再到 Vision Transformer，模型参数量和计算量不断增加。

z小猫不吃鱼

03 Optimal Brain Surgeon 详解：Hessian 剪枝为什么有效？论文名称：Second Order Derivatives for Network Pruning: Optimal Brain Surgeon 常用简称：Optimal Brain Surgeon，OBS 作者：Babak Hassibi, David G. Stork 会议：Advances in Neural Information Processing Systems 5，NIPS 1992 论文链接：https://proceedings.neurips.cc/paper_files/paper

z小猫不吃鱼

02 Optimal Brain Damage 详解：二阶信息剪枝的起点论文名称：Optimal Brain Damage 作者：Yann LeCun, John S. Denker, Sara A. Solla 会议：Advances in Neural Information Processing Systems 2，NIPS 1989 论文链接：https://proceedings.neurips.cc/paper_files/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf

模型剪枝与稀疏推理：结构化、非结构化、2:4 稀疏与大模型压缩（分层式精讲）模型剪枝不是把一些参数设成 0 这么简单，而是把训练好的模型改造成更小、更快或更省显存的部署形态。真正的收益取决于四件事：剪掉的结构是否能从计算图中删除，稀疏模式是否适合目标硬件，推理框架是否调用了对应 kernel，以及剪枝后的质量能否通过回归评估。

决策树（三）：剪枝在之前的文章中我们介绍了决策树的生成和选择划分特征的过程，它在学习的过程中为了尽可能的正确的分类训练样本，会不停地对结点和特征进行划分，因此这会导致整棵树的分支过多。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。因此为了提高决策树模型的泛用性，需要对决策树进行简化，这个过程过程称为剪枝(pruning)。

基础篇--概念原理-25-大模型的剪枝是什么？怎么理解？——从原理到实战，一篇讲透作者：Weisian 发布时间：2026年4月直击痛点：“面试官：‘大模型剪枝是什么？’你：‘就是删掉不重要的参数……’面试官：‘那结构化剪枝和非结构化剪枝有什么区别？怎么判断哪些参数不重要？’你：‘呃……这个……’——这就是剪枝理解不深的‘死亡问答’：看似简单的概念，却能暴露你对模型压缩底层原理的认知盲区。”

R语言决策树剪枝----泰坦尼克数据集计算存活情况CP = Complexity Parameter 复杂度参数> print(tree_full$cptable) CP nsplit rel error xerror xstd 1 0.444444444 0 1.0000000 1.0000000 0.04244576 2 0.030701754 1 0.5555556 0.5555556 0.03574957 3 0.023391813 3 0.4941520 0.5029240 0.03444798 4 0.020467836 4 0.

计算机安禾

【算法分析与设计】第36篇：计算几何基础：凸包问题的分治与扫描线解法从字符串的线性结构转向平面上的点集，我们进入了算法设计中另一个丰富而优美的领域——计算几何。凸包问题是计算几何的第一课：给定平面上 nn 个点的集合，找出一个最小的凸多边形，使其包含所有点。这里的“最小”不是指面积最小，而是指包含关系——凸包是包含所有点的所有凸多边形的交集。如果把点想象为钉在木板上的钉子，用一根橡皮筋套在所有钉子外围，橡皮筋自然收紧后形成的形状就是凸包。

计算机安禾

【算法分析与设计】第35篇：后缀数据结构：后缀树与后缀数组的构造在第34篇中，KMP算法以 O(n+m)O(n+m) 的时间完成了单次模式匹配。但如果同一个文本需要面对数百万次不同的查询，每次查询都用KMP扫描一遍文本显然不现实。数据库领域的核心智慧是“为数据建立索引以加速查询”，字符串领域同样如此。后缀树和后缀数组正是字符串索引结构的两大基石——它们在预处理阶段对文本进行组织，使得任意长度 mm 的模式串可以在 O(m)O(m) 或 O(mlog⁡n)O(mlogn) 的时间内完成匹配，且匹配时间与文本长度 nn 无关。