论文阅读:2022Decoupled Knowledge Distillation解耦知识蒸馏

SOTA的蒸馏方法往往是基于feature蒸馏的,而基于logit蒸馏的研究被忽视了。为了找到一个新的切入点去分析并提高logit蒸馏,我们将传统的KD分成了两个部分:TCKD和NCKD。实验表明:TCKD在传递和样本难度有关的知识,同时NCKD是KD涨点的主要原因。更重要的是,我们发现了传统KD是一个"高度耦合"的表达式,这种耦合会(1)抑制NCKD的知识传递效率,(2)限制了调整两部分重要性的灵活度。为了解决这两个问题,我们提出了Decoupled Knowledge Distillation(DKD)方法,让TCKD和NCKD可以灵活高效地被使用。在CIFAR-100、ImageNet、MS-COCO上,相比于其他计算较复杂的feature蒸馏方法,我们的DKD可以达到相同甚至更好的性能,并同时拥有更高的计算效率。这篇论文证明了logit蒸馏的巨大潜能,我们希望它可以给进一步的相关研究提供帮助。

相关推荐
番茄大王sc1 天前
2026年科研AI工具深度测评:文献调研与综述生成领域
论文阅读·人工智能·学习方法·论文笔记
码界奇点1 天前
基于Gin与GORM的若依后台管理系统设计与实现
论文阅读·go·毕业设计·gin·源代码管理
森诺Alyson2 天前
前沿技术借鉴研讨-2026.1.29(时间序列预测)
论文阅读·人工智能·经验分享·深度学习·论文笔记
有Li2 天前
多视图深度学习乳腺X线摄影分类技术:图和Transformer架构的探究/文献速递-基于人工智能的医学影像技术
论文阅读·深度学习·文献·医学生
数说星榆1813 天前
前后端分离开发流程-泳道图设计与应用
论文阅读·职场和发展·毕业设计·流程图·职场发展·论文笔记·毕设
数说星榆1813 天前
项目管理流程图-泳道图模板免费下载
论文阅读·毕业设计·流程图·论文笔记·毕设
程途拾光1583 天前
产品功能验收泳道图-流程图模板下载
论文阅读·职场和发展·毕业设计·流程图·课程设计·论文笔记·毕设
檐下翻书1733 天前
招聘SOP流程图-泳道图模板详细教程
论文阅读·毕业设计·流程图·图论·论文笔记·毕设
m0_650108243 天前
UniScene:面向自动驾驶的统一占用率中心驾驶场景生成
论文阅读·自动驾驶·uniscene·训练数据生成·语义占用率生成·多视角视频生成·激光雷达点云生成
蓝田生玉1234 天前
Deepstack论文阅读笔记
论文阅读·笔记