剪枝

z小猫不吃鱼

模型剪枝经典论文精读：NISP: Pruning Networks using Neuron Importance Score Propagation论文题目：NISP: Pruning Networks using Neuron Importance Score Propagation

z小猫不吃鱼

模型剪枝经典论文精读：Pruning Filters for Efficient ConvNets论文题目：Pruning Filters for Efficient ConvNets作者：Hao Li、Asim Kadav、Igor Durdanovic、Hanan Samet、Hans Peter Graf

z小猫不吃鱼

模型剪枝经典论文精读：Channel Pruning for Accelerating Very Deep Neural Networks论文题目：Channel Pruning for Accelerating Very Deep Neural Networks

z小猫不吃鱼

05 Han 剪枝方法详解：Learning both Weights and Connections论文名称：Learning both Weights and Connections for Efficient Neural Networks 作者：Song Han, Jeff Pool, John Tran, William J. Dally 会议：Advances in Neural Information Processing Systems，NeurIPS 2015 论文链接：[1506.02626] Learning both Weights and Connections for Effi

z小猫不吃鱼

06 权重幅值剪枝、剪枝后微调与稀疏网络训练：模型剪枝中的三个基本问题在前面的文章中，我们已经介绍了几类经典剪枝思想：OBD：用 Hessian 对角项估计删除权重后的损失变化； OBS：用 Hessian 逆矩阵考虑删除权重后的参数补偿； Han Pruning：使用 Train-Prune-Retrain 流程进行深度网络剪枝。

z小猫不吃鱼

01 模型剪枝是什么？为什么深度模型需要剪枝？近几年，深度学习模型的规模越来越大。在计算机视觉中，从早期的 LeNet、AlexNet，到后来的 VGG、ResNet、DenseNet，再到 Vision Transformer，模型参数量和计算量不断增加。

z小猫不吃鱼

03 Optimal Brain Surgeon 详解：Hessian 剪枝为什么有效？论文名称：Second Order Derivatives for Network Pruning: Optimal Brain Surgeon 常用简称：Optimal Brain Surgeon，OBS 作者：Babak Hassibi, David G. Stork 会议：Advances in Neural Information Processing Systems 5，NIPS 1992 论文链接：https://proceedings.neurips.cc/paper_files/paper

z小猫不吃鱼

02 Optimal Brain Damage 详解：二阶信息剪枝的起点论文名称：Optimal Brain Damage 作者：Yann LeCun, John S. Denker, Sara A. Solla 会议：Advances in Neural Information Processing Systems 2，NIPS 1989 论文链接：https://proceedings.neurips.cc/paper_files/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf

模型剪枝与稀疏推理：结构化、非结构化、2:4 稀疏与大模型压缩（分层式精讲）模型剪枝不是把一些参数设成 0 这么简单，而是把训练好的模型改造成更小、更快或更省显存的部署形态。真正的收益取决于四件事：剪掉的结构是否能从计算图中删除，稀疏模式是否适合目标硬件，推理框架是否调用了对应 kernel，以及剪枝后的质量能否通过回归评估。

决策树（三）：剪枝在之前的文章中我们介绍了决策树的生成和选择划分特征的过程，它在学习的过程中为了尽可能的正确的分类训练样本，会不停地对结点和特征进行划分，因此这会导致整棵树的分支过多。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。因此为了提高决策树模型的泛用性，需要对决策树进行简化，这个过程过程称为剪枝(pruning)。

基础篇--概念原理-25-大模型的剪枝是什么？怎么理解？——从原理到实战，一篇讲透作者：Weisian 发布时间：2026年4月直击痛点：“面试官：‘大模型剪枝是什么？’你：‘就是删掉不重要的参数……’面试官：‘那结构化剪枝和非结构化剪枝有什么区别？怎么判断哪些参数不重要？’你：‘呃……这个……’——这就是剪枝理解不深的‘死亡问答’：看似简单的概念，却能暴露你对模型压缩底层原理的认知盲区。”

R语言决策树剪枝----泰坦尼克数据集计算存活情况CP = Complexity Parameter 复杂度参数> print(tree_full$cptable) CP nsplit rel error xerror xstd 1 0.444444444 0 1.0000000 1.0000000 0.04244576 2 0.030701754 1 0.5555556 0.5555556 0.03574957 3 0.023391813 3 0.4941520 0.5029240 0.03444798 4 0.020467836 4 0.

计算机安禾

【算法分析与设计】第36篇：计算几何基础：凸包问题的分治与扫描线解法从字符串的线性结构转向平面上的点集，我们进入了算法设计中另一个丰富而优美的领域——计算几何。凸包问题是计算几何的第一课：给定平面上 nn 个点的集合，找出一个最小的凸多边形，使其包含所有点。这里的“最小”不是指面积最小，而是指包含关系——凸包是包含所有点的所有凸多边形的交集。如果把点想象为钉在木板上的钉子，用一根橡皮筋套在所有钉子外围，橡皮筋自然收紧后形成的形状就是凸包。

计算机安禾

【算法分析与设计】第35篇：后缀数据结构：后缀树与后缀数组的构造在第34篇中，KMP算法以 O(n+m)O(n+m) 的时间完成了单次模式匹配。但如果同一个文本需要面对数百万次不同的查询，每次查询都用KMP扫描一遍文本显然不现实。数据库领域的核心智慧是“为数据建立索引以加速查询”，字符串领域同样如此。后缀树和后缀数组正是字符串索引结构的两大基石——它们在预处理阶段对文本进行组织，使得任意长度 mm 的模式串可以在 O(m)O(m) 或 O(mlog⁡n)O(mlogn) 的时间内完成匹配，且匹配时间与文本长度 nn 无关。

计算机安禾

【算法分析与设计】第26篇：参数化算法与固定参数可解性理论第10篇中我们建立了NP完全性的基本认知：对于NP完全问题，不存在多项式时间的精确算法（除非P=NP）。这一结论从最坏情况视角给出了“此路不通”的断言。但在实际中，并非一个问题的所有实例都同等困难。许多问题的输入天然带有某些数值较小的参数——社交网络的树宽通常很小，基因序列的比对只涉及少量差异，铁路调度的站点数可控。如果问题的难度集中在某个小参数上，而非整个输入规模，我们或许能找到一种算法：它在输入规模上是多项式的，仅在参数上付出指数代价。这就是参数化算法的核心思想。

模型剪枝与稀疏化：理论、算法与可运行实现现代深度学习模型普遍采用**过参数化（over-parameterization）**策略——参数量远大于训练样本数。

LLMLingua：用小型模型“剪枝”大语言模型提示词，让长文本不再昂贵在 LLM 应用中，提示词（Prompt）常常携带大量冗余信息，导致 token 浪费、成本飙升。LLMLingua 提出了一种创新方法：用一个更小的模型（如 GPT‑2 或 LLaMA‑7B）来评估原始提示词中每个 token 的“信息熵”或“困惑度”，然后剔除那些对语义理解贡献最小的 token，从而实现高压缩率下的语义保留。本文从原理、代码实现到定量评估和面试问答，全面解析 LLMLingua 技术。

Tree-of-Thought (ToT) 架构：BFS/DFS搜索策略、价值函数评估、剪枝机制实现我们想象一个分拣流水线。传统思维链（Chain-of-Thought）像一条传送带：包裹从入口进入，经过若干固定工位，直接从出口滑出。如果中途某个工位贴错了标签，整条传送带不会回头，只会把错误一路传递到终点。这听起来抽象对吧？实际上，大多数语言模型在生成长推理时，正是这样一条"单向传送带"——一旦某一步写错，后续所有步骤都会在这个错误上继续搭建，直到输出荒谬的答案。

计算机安禾

【算法分析与设计】第21篇：回溯法的状态空间树与剪枝函数设计当我们面对一个不存在多项式时间精确算法的NP困难问题时，若输入规模尚可接受，一种直接而有效的策略是系统地搜索整个解空间。但“系统”绝非“蛮力”——n个元素的排列有n!种，n个布尔变量的赋值有2^n种，完全枚举在n稍大时便不可行。回溯法的核心智慧在于：一边走，一边看，走不通立刻回头。它将搜索过程组织成一棵树的生长，并在生长过程中及时砍掉注定不含解的枝条，从而将指数级的搜索压缩到可操作的范围。

视觉算法小姥

yolov11-obb在rk芯片部署的onnx模型输出的剪枝处理原始导出的onnx只有一个输出，包括一些后处理，rk需要搞成4个输出，输出的节点在代码中，后处理放到外面去，不在npu做。坑人的是这个搞成4个输出的，网上没有一个人说怎么弄。