论文阅读:2022Decoupled Knowledge Distillation解耦知识蒸馏

SOTA的蒸馏方法往往是基于feature蒸馏的,而基于logit蒸馏的研究被忽视了。为了找到一个新的切入点去分析并提高logit蒸馏,我们将传统的KD分成了两个部分:TCKD和NCKD。实验表明:TCKD在传递和样本难度有关的知识,同时NCKD是KD涨点的主要原因。更重要的是,我们发现了传统KD是一个"高度耦合"的表达式,这种耦合会(1)抑制NCKD的知识传递效率,(2)限制了调整两部分重要性的灵活度。为了解决这两个问题,我们提出了Decoupled Knowledge Distillation(DKD)方法,让TCKD和NCKD可以灵活高效地被使用。在CIFAR-100、ImageNet、MS-COCO上,相比于其他计算较复杂的feature蒸馏方法,我们的DKD可以达到相同甚至更好的性能,并同时拥有更高的计算效率。这篇论文证明了logit蒸馏的巨大潜能,我们希望它可以给进一步的相关研究提供帮助。

相关推荐
c0d1ng2 小时前
一月第二周周报(论文阅读)
论文阅读
*西瓜7 小时前
RainGaugeNet:基于CSI的Sub-6 GHz降雨衰减测量和分类用于ISAC应用
论文阅读
清风吹过8 小时前
Birch聚类算法
论文阅读·深度学习·神经网络·机器学习
EEPI21 小时前
【论文阅读】Igniting VLMs toward the Embodied Space
论文阅读
静听松涛1331 天前
中文PC端多人协作泳道图制作平台
大数据·论文阅读·人工智能·搜索引擎·架构·流程图·软件工程
小明_GLC2 天前
Falcon-TST: A Large-Scale Time Series Foundation Model
论文阅读·人工智能·深度学习·transformer
0x2112 天前
[论文阅读]Through the Stealth Lens: Rethinking Attacks and Defenses in RAG
论文阅读
川西胖墩墩3 天前
团队协作泳道图制作工具 PC中文免费
大数据·论文阅读·人工智能·架构·流程图
starsky_walker3 天前
【论文阅读笔记】--SOSP2025--Proto: A Guided Journey through Modern OS Construction
论文阅读·笔记
MoonOutCloudBack3 天前
Nash-MTL:在多任务梯度组合中引入纳什谈判解
论文阅读·人工智能·深度学习·机器学习·多任务·帕累托最优