解决方案:总结描述下知识蒸馏、量化、剪枝的区别

文章目录


一、现象

在算法中,时而会听到知识蒸馏、量化、剪枝这三个专业名词,进行记录

二、解决方案

  • 知识蒸馏:一般将复杂、学习能力强的网络学到的特征表示"知识"蒸馏出来,传递给参数量小、学习能力弱的网络。
  • 量化:就是用较低位宽表示典型的 32 位浮点网络参数。
  • 剪枝:主要思想就是将权重矩阵中相对"不重要"的权值剔除。
相关推荐
多多*10 小时前
牛客周赛 Round 114 Java题解
算法
他们叫我一代大侠10 小时前
Leetcode :模拟足球赛小组各种比分的出线状况
算法·leetcode·职场和发展
Nebula_g10 小时前
C语言应用实例:硕鼠游戏,田忌赛马,搬桌子,活动选择(贪心算法)
c语言·开发语言·学习·算法·游戏·贪心算法·初学者
AI科技星11 小时前
张祥前统一场论动量公式P=m(C-V)误解解答
开发语言·数据结构·人工智能·经验分享·python·线性代数·算法
海琴烟Sunshine11 小时前
leetcode 345. 反转字符串中的元音字母 python
python·算法·leetcode
antonytyler11 小时前
机器学习实践项目(二)- 房价预测增强篇 - 模型训练与评估:从多模型对比到小网格微调
人工智能·机器学习
geobuilding11 小时前
将大规模shp白模贴图转3dtiles倾斜摄影,并可单体化拾取建筑
算法·3d·智慧城市·数据可视化·贴图
jghhh0111 小时前
基于高斯伪谱法的弹道优化方法及轨迹仿真计算
算法
mm-q291522272913 小时前
【天野学院5期】 第5期易语言半内存辅助培训班,主讲游戏——手游:仙剑奇侠传4,端游:神魔大陆2
人工智能·算法·游戏
MoRanzhi120313 小时前
Python 实现:从数学模型到完整控制台版《2048》游戏
数据结构·python·算法·游戏·数学建模·矩阵·2048