剪枝

七牛开发者

TokenGate：端到端可训练的 Token 剪枝机制，让大模型 Prefill 提速 11.3 倍代码仓库、PDF及检索到的多份文档，常在请求到达后才交给 LLM。由于内容事先未知，对应的 KV Cache 无法预计算，每次请求都要重新完成预填充。标准 Transformer 会让全部输入 Token 逐层参与注意力和前馈网络计算，并生成对应 KV Cache。随着上下文变长，注意力计算快速增加，前馈网络计算和 KV Cache 占用也随 Token 数增长。

从黑板事实到长链路剪枝：AI 渗透测试 Agent 的实验、失效与改造目录一、复盘范围：把 AI 能力落实到可验证的项目二、先让 BreachWeave 运行：容器启动与端口占用

（2026|中科院自动化所，路由冗余，动态分配的价值在激进剪枝，多模态更脆弱）你只需要选定专家的 2/3：细粒度 MoE LLM 中的动态专家剪枝论文地址：https://arxiv.org/abs/2609.25809项目页面：https://github.com/MingZwhy/An-Empirical-Study-on-Expert-Pruning

Doubbbbbbble云

图算法中的剪枝技术与启发式优化分析4剪枝技术通过提前排除不可能产生最优解的搜索路径，显著降低图算法的时间复杂度和空间开销。其本质是在保持解完整性的同时，减少无效状态的生成与扩展。在最短路径、拓扑排序、连通分量检测等典型图问题中，剪枝策略直接影响算法效率。

多任务权重流形融合：SLERP 球形线性插值、DARE 稀疏剪枝与多专家模型融合落地专栏名称：《QNL-36：从量子张量网络到端侧异构认知大模型全栈实战》分卷归属：卷五·流形融合、DPO 对齐与量化感知微调（Volume V: Manifold Fusion, DPO Alignment & QAT）文档编号：QNL-36-VOL05-ART20 主笔专家：QNL-019 SLERP-MERGE（流形融合专家）· QNL-017 LORA-MANIFOLD（低秩流形架构专家）联署质检：QNL-031 VRAM-GUARD（显存守卫架构师）· QNL-008 DYNAMIC-GRAP

为啥全要学

PyTorch 中网络剪枝、梯度剪裁、梯度累积PyTorch 提供了 torch.nn.utils.prune 模块，支持非结构化剪枝（单个权重置零）和结构化剪枝（整通道/整滤波器移除）。

【记忆化搜索】最长递增子序列题目链接：300. 最长递增子序列记忆化搜索是一种通过记录已经遍历过的状态的信息，从而避免对同一状态重复遍历的搜索实现方式（是一种常见的动态规划实现方式）。

【记忆化搜索】不同路径题目链接：62. 不同路径记忆化搜索是一种通过记录已经遍历过的状态的信息，从而避免对同一状态重复遍历的搜索实现方式（是一种常见的动态规划实现方式）。

KV-Cache 的显存账本：长上下文、并发与量化剪枝的取舍上一篇内存墙与两阶段把一次 LLM 请求拆成了两堵墙:Prefill 撞算力墙、Decode 撞内存墙。今天进入 Datawhale mlsysim 学习活动的第三阶段,把视角从"时间"转向"空间":显存到底去哪了?模型变大了怎么办? 对应教程 KV-Cache: The Hidden Memory Consumer 和 Quantization: Not a Free Lunch。今天的核心工具从 Engine 换成 ServingModel、calc_kv_cache_size 和 Compres

LeetCode hot100——51.N 皇后：Java 回溯模板、列与对角线剪枝、O(n!) 复杂度分析按行逐层放置皇后(每行必放一个)，用三个 HashSet 分别记录已占用的列、主对角线、副对角线做剪枝，递归到第 n 行就收集一份棋盘快照，这就是经典的“行优先 + 集合剪枝”回溯。

【记忆化搜索】斐波那契数题目链接：509. 斐波那契数记忆化搜索是一种通过记录已经遍历过的状态的信息，从而避免对同一状态重复遍历的搜索实现方式（是一种常见的动态规划实现方式）。

【算法】回溯算法（三）：三记重锤与 N 皇后——记忆化、状态设计与三层漏斗回溯系列第三篇，收官。上一篇以 LC842 验收"毕业"，我以为真毕业了——接下来三记重锤锤醒了梦：记忆化的三次错位（417 万次调用 vs 176 次，缓存选择、缓存候选、只写不读一路踩过去）、排序被禁后的去重（层属性 vs 路径属性，usedThisLevel 不还原是精髓）、中间态失控（把 Go 的栈撑爆 1GB）。三锤全部指向同一件事：状态设计。最后用 N 皇后收官（对角线编号 r±c + 三个标记数组 + 四动作对），并把整个系列沉淀成三层漏斗识别框架和写题前的终极检查清单。本篇也是通往动态规划

AAAI 2026 | KTV：基于聚类与Token剪枝的关键帧选取论文题目：KTV: Keyframes and Key Tokens Selection for Efficient Training-Free Video LLMs

18.剪枝把神经网络里不重要的权重 / 神经元删掉，在尽量少掉精度前提下，减小模型体积、降低显存、加速推理，常用于端侧部署。

27届大模型岗面试准备（十一）：模型蒸馏与稀疏化——从软标签到结构化剪枝的压缩全景上一篇讲推理加速时留了个尾巴：KV Cache、PagedAttention 这些手段优化的是"怎么跑得快"，但模型本身的参数量没变。如果连模型都能变小、变稀疏，推理优化的天花板才能真正抬高。这就是今天的主题——知识蒸馏（Knowledge Distillation）与稀疏化（Sparsification）。

下篇：回溯与剪枝的「智慧寻宝人」——DFS 进阶与网格 / 图论应用掌握了基础回溯之后，DFS 的真正威力体现在二维网格、图结构、约束满足类问题中。本篇聚焦 DFS 在网格遍历、图连通性、复杂约束回溯中的高阶应用，带你学会「Flood Fill 泛洪算法」和「约束剪枝」两大杀器。

从入门到实战：深入浅出模型压缩三大核心——剪枝、彩票假设与知识蒸馏随着ChatGPT、Llama等大模型的兴起，“参数量爆炸”成为工业界部署的头号难题。模型压缩因此成为AI工程化落地的核心赛道。

z小猫不吃鱼

模型剪枝经典论文精读：DepGraph: Towards Any Structural Pruning论文题目：DepGraph: Towards Any Structural Pruning作者：Gongfan Fang、Xinyin Ma、Mingli Song、Michael Bi Mi、Xinchao Wang

剪枝与量化：让YOLO在边缘设备上高效部署# 剪枝与量化：让YOLO在边缘设备上高效部署## 背景与挑战计算机视觉模型在云端高性能GPU上已取得惊人精度，但当我们需要将YOLO部署到智能摄像头、无人机、可穿戴设备等边缘端时，模型体积大、推理延迟高、功耗受限等问题立刻浮现。例如，YOLO11n虽然已针对边缘优化，但在树莓派4B上运行仍可能达到200ms/帧，无法满足实时检测需求（<30ms/帧）。

z小猫不吃鱼

ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting论文题目：ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting