剪枝

为啥全要学

PyTorch 中网络剪枝、梯度剪裁、梯度累积PyTorch 提供了 torch.nn.utils.prune 模块，支持非结构化剪枝（单个权重置零）和结构化剪枝（整通道/整滤波器移除）。

【记忆化搜索】最长递增子序列题目链接：300. 最长递增子序列记忆化搜索是一种通过记录已经遍历过的状态的信息，从而避免对同一状态重复遍历的搜索实现方式（是一种常见的动态规划实现方式）。

【记忆化搜索】不同路径题目链接：62. 不同路径记忆化搜索是一种通过记录已经遍历过的状态的信息，从而避免对同一状态重复遍历的搜索实现方式（是一种常见的动态规划实现方式）。

KV-Cache 的显存账本：长上下文、并发与量化剪枝的取舍上一篇内存墙与两阶段把一次 LLM 请求拆成了两堵墙:Prefill 撞算力墙、Decode 撞内存墙。今天进入 Datawhale mlsysim 学习活动的第三阶段,把视角从"时间"转向"空间":显存到底去哪了?模型变大了怎么办? 对应教程 KV-Cache: The Hidden Memory Consumer 和 Quantization: Not a Free Lunch。今天的核心工具从 Engine 换成 ServingModel、calc_kv_cache_size 和 Compres

LeetCode hot100——51.N 皇后：Java 回溯模板、列与对角线剪枝、O(n!) 复杂度分析按行逐层放置皇后(每行必放一个)，用三个 HashSet 分别记录已占用的列、主对角线、副对角线做剪枝，递归到第 n 行就收集一份棋盘快照，这就是经典的“行优先 + 集合剪枝”回溯。

【记忆化搜索】斐波那契数题目链接：509. 斐波那契数记忆化搜索是一种通过记录已经遍历过的状态的信息，从而避免对同一状态重复遍历的搜索实现方式（是一种常见的动态规划实现方式）。

【算法】回溯算法（三）：三记重锤与 N 皇后——记忆化、状态设计与三层漏斗回溯系列第三篇，收官。上一篇以 LC842 验收"毕业"，我以为真毕业了——接下来三记重锤锤醒了梦：记忆化的三次错位（417 万次调用 vs 176 次，缓存选择、缓存候选、只写不读一路踩过去）、排序被禁后的去重（层属性 vs 路径属性，usedThisLevel 不还原是精髓）、中间态失控（把 Go 的栈撑爆 1GB）。三锤全部指向同一件事：状态设计。最后用 N 皇后收官（对角线编号 r±c + 三个标记数组 + 四动作对），并把整个系列沉淀成三层漏斗识别框架和写题前的终极检查清单。本篇也是通往动态规划

AAAI 2026 | KTV：基于聚类与Token剪枝的关键帧选取论文题目：KTV: Keyframes and Key Tokens Selection for Efficient Training-Free Video LLMs

18.剪枝把神经网络里不重要的权重 / 神经元删掉，在尽量少掉精度前提下，减小模型体积、降低显存、加速推理，常用于端侧部署。

27届大模型岗面试准备（十一）：模型蒸馏与稀疏化——从软标签到结构化剪枝的压缩全景上一篇讲推理加速时留了个尾巴：KV Cache、PagedAttention 这些手段优化的是"怎么跑得快"，但模型本身的参数量没变。如果连模型都能变小、变稀疏，推理优化的天花板才能真正抬高。这就是今天的主题——知识蒸馏（Knowledge Distillation）与稀疏化（Sparsification）。

下篇：回溯与剪枝的「智慧寻宝人」——DFS 进阶与网格 / 图论应用掌握了基础回溯之后，DFS 的真正威力体现在二维网格、图结构、约束满足类问题中。本篇聚焦 DFS 在网格遍历、图连通性、复杂约束回溯中的高阶应用，带你学会「Flood Fill 泛洪算法」和「约束剪枝」两大杀器。

从入门到实战：深入浅出模型压缩三大核心——剪枝、彩票假设与知识蒸馏随着ChatGPT、Llama等大模型的兴起，“参数量爆炸”成为工业界部署的头号难题。模型压缩因此成为AI工程化落地的核心赛道。

z小猫不吃鱼

模型剪枝经典论文精读：DepGraph: Towards Any Structural Pruning论文题目：DepGraph: Towards Any Structural Pruning作者：Gongfan Fang、Xinyin Ma、Mingli Song、Michael Bi Mi、Xinchao Wang

剪枝与量化：让YOLO在边缘设备上高效部署# 剪枝与量化：让YOLO在边缘设备上高效部署## 背景与挑战计算机视觉模型在云端高性能GPU上已取得惊人精度，但当我们需要将YOLO部署到智能摄像头、无人机、可穿戴设备等边缘端时，模型体积大、推理延迟高、功耗受限等问题立刻浮现。例如，YOLO11n虽然已针对边缘优化，但在树莓派4B上运行仍可能达到200ms/帧，无法满足实时检测需求（<30ms/帧）。

z小猫不吃鱼

ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting论文题目：ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting

z小猫不吃鱼

模型剪枝经典论文精读：NISP: Pruning Networks using Neuron Importance Score Propagation论文题目：NISP: Pruning Networks using Neuron Importance Score Propagation

z小猫不吃鱼

模型剪枝经典论文精读：Pruning Filters for Efficient ConvNets论文题目：Pruning Filters for Efficient ConvNets作者：Hao Li、Asim Kadav、Igor Durdanovic、Hanan Samet、Hans Peter Graf

z小猫不吃鱼

模型剪枝经典论文精读：Channel Pruning for Accelerating Very Deep Neural Networks论文题目：Channel Pruning for Accelerating Very Deep Neural Networks

z小猫不吃鱼

05 Han 剪枝方法详解：Learning both Weights and Connections论文名称：Learning both Weights and Connections for Efficient Neural Networks 作者：Song Han, Jeff Pool, John Tran, William J. Dally 会议：Advances in Neural Information Processing Systems，NeurIPS 2015 论文链接：[1506.02626] Learning both Weights and Connections for Effi

z小猫不吃鱼

06 权重幅值剪枝、剪枝后微调与稀疏网络训练：模型剪枝中的三个基本问题在前面的文章中，我们已经介绍了几类经典剪枝思想：OBD：用 Hessian 对角项估计删除权重后的损失变化； OBS：用 Hessian 逆矩阵考虑删除权重后的参数补偿； Han Pruning：使用 Train-Prune-Retrain 流程进行深度网络剪枝。