神经网络中的知识蒸馏

多分类交叉熵损失函数:每个样本的标签已经给出,模型给出在三种动物上的预测概率。将全部样本都被正确预测的概率求得为0.70.50.1,也称为似然概率。优化的目标就是希望似然概率最大化。如果样本很多,概率不断连乘,就会造成概率越来越小。对其取对数,使其最大化。在实际运用中,损失函数都是求最小化,所以取负号,将最大化变为最小化。

教师--学生网络的方法,属于迁移学习的一种。迁移学习也就是将一个模型的性能迁移到另一个模型上,而对于教师--学生网络,教师网络往往是一个更加复杂的网络,具有非常好的性能和泛化能力,可以用这个网络来作为一个soft target来指导另外一个更加简单的学生网络来学习,使得更加简单、参数运算量更少的学生模型也能够具有和教师网络相近的性能,也算是一种模型压缩的方式。将教师网络的知识迁移到学生网络,就是知识蒸馏。

知识蒸馏:用教师网络的"soft target"作为学生网络的label。使用一个额外的数据集,将数据集先送入教师网络中,获得soft target。 将数据集和label送入学生网络。如果 soft target的熵很高,也就是不同类别的概率差异非常小,那么这就提供了非常多的信息。假如使用hard target作为训练label,比如猫的label为(1,0,0),那么网络只能学习到猫的梯度,而在soft target,可以得出猫和狗更像,和汽车不像。

流程:

T越大,输入的结果越soft,包含的知识也就越多。在训练的时候,教师网络和学生网络的T相同,在预测的时候,T为1。

相关推荐
果冻人工智能8 分钟前
打造 AI Agent 对于中产阶级来说就是场噩梦
人工智能
MediaTea21 分钟前
AI 文生图:提示词撰写技巧与示例(ChatGPT-4o 篇)
人工智能
墨绿色的摆渡人31 分钟前
用 pytorch 从零开始创建大语言模型(三):编码注意力机制
人工智能·pytorch·语言模型
zm-v-159304339861 小时前
ChatGPT 与 DeepSeek:学术科研的智能 “双引擎”
人工智能·chatgpt
果冻人工智能1 小时前
美国狂奔,中国稳走,AI赛道上的龟兔之争?
人工智能
牙牙要健康1 小时前
【目标检测】【深度学习】【Pytorch版本】YOLOV2模型算法详解
pytorch·深度学习·目标检测
果冻人工智能1 小时前
再谈AI与程序员: AI 写的代码越来越多,那我们还需要开发者吗?
人工智能
大脑探路者1 小时前
【PyTorch】继承 nn.Module 创建简单神经网络
人工智能·pytorch·神经网络
无代码Dev1 小时前
如何使用AI去水印(ChatGPT去除图片水印)
人工智能·ai·ai-native