解决方案:总结描述下知识蒸馏、量化、剪枝的区别

文章目录


一、现象

在算法中,时而会听到知识蒸馏、量化、剪枝这三个专业名词,进行记录

二、解决方案

  • 知识蒸馏:一般将复杂、学习能力强的网络学到的特征表示"知识"蒸馏出来,传递给参数量小、学习能力弱的网络。
  • 量化:就是用较低位宽表示典型的 32 位浮点网络参数。
  • 剪枝:主要思想就是将权重矩阵中相对"不重要"的权值剔除。
相关推荐
大闲在人4 小时前
7. 供应链与制造过程术语:“周期时间”
算法·供应链管理·智能制造·工业工程
小熳芋4 小时前
443. 压缩字符串-python-双指针
算法
Charlie_lll4 小时前
力扣解题-移动零
后端·算法·leetcode
chaser&upper4 小时前
矩阵革命:在 AtomGit 解码 CANN ops-nn 如何构建 AIGC 的“线性基石”
程序人生·算法
weixin_499771555 小时前
C++中的组合模式
开发语言·c++·算法
iAkuya5 小时前
(leetcode)力扣100 62N皇后问题 (普通回溯(使用set存储),位运算回溯)
算法·leetcode·职场和发展
近津薪荼5 小时前
dfs专题5——(二叉搜索树中第 K 小的元素)
c++·学习·算法·深度优先
xiaoye-duck5 小时前
吃透 C++ STL list:从基础使用到特性对比,解锁链表容器高效用法
c++·算法·stl
松☆5 小时前
CANN与大模型推理:在边缘端高效运行7B参数语言模型的实践指南
人工智能·算法·语言模型
java干货5 小时前
为什么 “File 10“ 排在 “File 2“ 前面?解决文件名排序的终极算法:自然排序
开发语言·python·算法