剪枝

weisian15118 小时前
算法·机器学习·大模型·剪枝
基础篇--概念原理-25-大模型的剪枝是什么?怎么理解?——从原理到实战,一篇讲透作者:Weisian 发布时间:2026年4月直击痛点:“面试官:‘大模型剪枝是什么?’你:‘就是删掉不重要的参数……’面试官:‘那结构化剪枝和非结构化剪枝有什么区别?怎么判断哪些参数不重要?’你:‘呃……这个……’——这就是剪枝理解不深的‘死亡问答’:看似简单的概念,却能暴露你对模型压缩底层原理的认知盲区。”
dongf20194 天前
决策树·r语言·剪枝
R语言决策树剪枝----泰坦尼克数据集计算存活情况CP = Complexity Parameter 复杂度参数> print(tree_full$cptable) CP nsplit rel error xerror xstd 1 0.444444444 0 1.0000000 1.0000000 0.04244576 2 0.030701754 1 0.5555556 0.5555556 0.03574957 3 0.023391813 3 0.4941520 0.5029240 0.03444798 4 0.020467836 4 0.
计算机安禾8 天前
大数据·人工智能·算法·机器学习·剪枝
【算法分析与设计】第36篇:计算几何基础:凸包问题的分治与扫描线解法从字符串的线性结构转向平面上的点集,我们进入了算法设计中另一个丰富而优美的领域——计算几何。凸包问题是计算几何的第一课:给定平面上 nn 个点的集合,找出一个最小的凸多边形,使其包含所有点。这里的“最小”不是指面积最小,而是指包含关系——凸包是包含所有点的所有凸多边形的交集。如果把点想象为钉在木板上的钉子,用一根橡皮筋套在所有钉子外围,橡皮筋自然收紧后形成的形状就是凸包。
计算机安禾9 天前
大数据·人工智能·算法·机器学习·剪枝
【算法分析与设计】第35篇:后缀数据结构:后缀树与后缀数组的构造在第34篇中,KMP算法以 O(n+m)O(n+m) 的时间完成了单次模式匹配。但如果同一个文本需要面对数百万次不同的查询,每次查询都用KMP扫描一遍文本显然不现实。数据库领域的核心智慧是“为数据建立索引以加速查询”,字符串领域同样如此。后缀树和后缀数组正是字符串索引结构的两大基石——它们在预处理阶段对文本进行组织,使得任意长度 mm 的模式串可以在 O(m)O(m) 或 O(mlog⁡n)O(mlogn) 的时间内完成匹配,且匹配时间与文本长度 nn 无关。
计算机安禾10 天前
大数据·人工智能·算法·机器学习·剪枝
【算法分析与设计】第26篇:参数化算法与固定参数可解性理论第10篇中我们建立了NP完全性的基本认知:对于NP完全问题,不存在多项式时间的精确算法(除非P=NP)。这一结论从最坏情况视角给出了“此路不通”的断言。但在实际中,并非一个问题的所有实例都同等困难。许多问题的输入天然带有某些数值较小的参数——社交网络的树宽通常很小,基因序列的比对只涉及少量差异,铁路调度的站点数可控。如果问题的难度集中在某个小参数上,而非整个输入规模,我们或许能找到一种算法:它在输入规模上是多项式的,仅在参数上付出指数代价。这就是参数化算法的核心思想。
lqqjuly11 天前
人工智能·算法·剪枝
模型剪枝与稀疏化:理论、算法与可运行实现现代深度学习模型普遍采用**过参数化(over-parameterization)**策略——参数量远大于训练样本数。
li星野12 天前
人工智能·python·学习·语言模型·剪枝
LLMLingua:用小型模型“剪枝”大语言模型提示词,让长文本不再昂贵在 LLM 应用中,提示词(Prompt)常常携带大量冗余信息,导致 token 浪费、成本飙升。LLMLingua 提出了一种创新方法:用一个更小的模型(如 GPT‑2 或 LLaMA‑7B)来评估原始提示词中每个 token 的“信息熵”或“困惑度”,然后剔除那些对语义理解贡献最小的 token,从而实现高压缩率下的语义保留。本文从原理、代码实现到定量评估和面试问答,全面解析 LLMLingua 技术。
枫叶林FYL12 天前
深度优先·剪枝·宽度优先
Tree-of-Thought (ToT) 架构:BFS/DFS搜索策略、价值函数评估、剪枝机制实现我们想象一个分拣流水线。传统思维链(Chain-of-Thought)像一条传送带:包裹从入口进入,经过若干固定工位,直接从出口滑出。如果中途某个工位贴错了标签,整条传送带不会回头,只会把错误一路传递到终点。这听起来抽象对吧?实际上,大多数语言模型在生成长推理时,正是这样一条"单向传送带"——一旦某一步写错,后续所有步骤都会在这个错误上继续搭建,直到输出荒谬的答案。
计算机安禾12 天前
大数据·人工智能·算法·机器学习·数据挖掘·剪枝
【算法分析与设计】第21篇:回溯法的状态空间树与剪枝函数设计当我们面对一个不存在多项式时间精确算法的NP困难问题时,若输入规模尚可接受,一种直接而有效的策略是系统地搜索整个解空间。但“系统”绝非“蛮力”——n个元素的排列有n!种,n个布尔变量的赋值有2^n种,完全枚举在n稍大时便不可行。回溯法的核心智慧在于:一边走,一边看,走不通立刻回头。它将搜索过程组织成一棵树的生长,并在生长过程中及时砍掉注定不含解的枝条,从而将指数级的搜索压缩到可操作的范围。
视觉算法小姥14 天前
算法·yolo·剪枝
yolov11-obb在rk芯片部署的onnx模型输出的剪枝处理原始导出的onnx只有一个输出,包括一些后处理,rk需要搞成4个输出,输出的节点在代码中,后处理放到外面去,不在npu做。坑人的是这个搞成4个输出的,网上没有一个人说怎么弄。
玖釉-15 天前
c++·windows·算法·深度优先·剪枝
单词搜索:二维网格中的 DFS 回溯与剪枝优化LeetCode 79「单词搜索」是一道经典的二维网格搜索问题。题目给定一个 m x n 的字符网格 board,以及一个字符串 word,要求判断 word 是否能够在网格中被搜索出来。
Dfreedom.21 天前
人工智能·算法·机器学习·剪枝·模型加速
模型剪枝完全指南:从理论到实践,打造高效深度学习模型模型剪枝作为模型压缩的核心技术之一,能够在不显著损失精度的前提下大幅减少模型大小和计算量。本文将从方法论、数学原理、实现细节到实践策略,全面解析模型剪枝技术,帮助读者深入理解并掌握这一关键技术。
z2005093022 天前
数据结构·c++·算法·剪枝
今日算法(二叉树剪枝)给你二叉搜索树的根节点 root,同时给定最小边界 low 和最大边界 high。通过修剪二叉搜索树,使得所有节点的值在 [low, high] 中。
切糕师学AI22 天前
决策树·机器学习·剪枝
机器学习中的剪枝(Pruning):从决策树到深度学习的全面解析在机器学习中,剪枝 主要指对决策树(Decision Tree Pruning)及其集成模型(如随机森林、梯度提升树)进行的一种模型简化技术。其核心思想是:删除决策树中对最终预测贡献很小甚至产生负面影响的节点或分支,使得模型结构更简洁,泛化能力更强。
沪漂阿龙1 个月前
人工智能·决策树·剪枝
AI大模型面试题:决策树是什么?ID3、C4.5、CART、信息增益、剪枝一文讲透高频机器学习面试题|决策树原理|信息熵|信息增益率|基尼指数|分类树与回归树很多人背决策树,只能背出“像树一样分类”。但一到面试官追问“为什么要用信息熵?ID3 和 CART 到底差哪?为什么一定要剪枝?”就容易卡壳。真正高分的回答,不是把定义背出来,而是把整套逻辑讲顺:它怎么分、凭什么这么分、分完为什么还要剪。本文就按面试最常追问的顺序,把决策树从入门到回答模板一次讲透。
Hcoco_me1 个月前
人工智能·深度学习·算法·自动驾驶·剪枝
Ai:Agent/ infra / 智驾 / 推广算法 题库假期没事捣鼓了一个面试题库各位看看~ 要个点赞收藏不过分吧! 我的Token!!!https://riddlego.github.io/interview-hub/index.html
啦啦啦_99991 个月前
算法·决策树·剪枝
4. 决策树剪枝学习目标: 1.知道什么是剪枝 2.理解剪枝的作用 3.知道常用剪枝方法 4.了解不同剪枝方法的优缺点
祁_z1 个月前
算法·机器学习·剪枝·量化·蒸馏·大模型轻量化
大模型轻量化:模型格式选型(ONNX/GGUF/TFLite) + 压缩三剑客(量化/剪枝/蒸馏)+ 大模型推理执行流程介绍三种大模型部署时用的文件格式 / 载体:ONNX、GGUF与TFLite。真实场景应基于部署设备去选择模型:
谭欣辰1 个月前
c++·算法·剪枝
C++ DFS 与 BFS 剪枝方法详解本文针对 C++ 中常见的 DFS 与 BFS 过程中如何通过各种剪枝技术来降低搜索空间、提高运行效率,提供了详细、系统且易懂的说明,并配以符合实际项目需求的代码实例。文章内容分为十大章节,涵盖剪枝思路、实现技巧、典型案例及其性能对比,希望读者能在掌握基本概念的基础上,快速上手并融入自己的项目。
木井巳2 个月前
java·算法·leetcode·决策树·深度优先·剪枝
【递归算法】解数独文章摘要:37. 解数独我们需要解决题目给出的数独问题,在解决数独的同时需要注意数独的合法条件:如图: