解决方案:总结描述下知识蒸馏、量化、剪枝的区别

文章目录


一、现象

在算法中,时而会听到知识蒸馏、量化、剪枝这三个专业名词,进行记录

二、解决方案

  • 知识蒸馏:一般将复杂、学习能力强的网络学到的特征表示"知识"蒸馏出来,传递给参数量小、学习能力弱的网络。
  • 量化:就是用较低位宽表示典型的 32 位浮点网络参数。
  • 剪枝:主要思想就是将权重矩阵中相对"不重要"的权值剔除。
相关推荐
电科_银尘13 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴16 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David16 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
塑料铲子18 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
Pniubi19 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK19 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
TsingtaoAI20 小时前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
上海潭龙东海科技有限公司21 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师1 天前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户7341681035481 天前
基于MindSpore的深度残差收缩网络程序
算法