论文阅读:2022Decoupled Knowledge Distillation解耦知识蒸馏

SOTA的蒸馏方法往往是基于feature蒸馏的,而基于logit蒸馏的研究被忽视了。为了找到一个新的切入点去分析并提高logit蒸馏,我们将传统的KD分成了两个部分:TCKD和NCKD。实验表明:TCKD在传递和样本难度有关的知识,同时NCKD是KD涨点的主要原因。更重要的是,我们发现了传统KD是一个"高度耦合"的表达式,这种耦合会(1)抑制NCKD的知识传递效率,(2)限制了调整两部分重要性的灵活度。为了解决这两个问题,我们提出了Decoupled Knowledge Distillation(DKD)方法,让TCKD和NCKD可以灵活高效地被使用。在CIFAR-100、ImageNet、MS-COCO上,相比于其他计算较复杂的feature蒸馏方法,我们的DKD可以达到相同甚至更好的性能,并同时拥有更高的计算效率。这篇论文证明了logit蒸馏的巨大潜能,我们希望它可以给进一步的相关研究提供帮助。

相关推荐
Eastmount12 小时前
[论文阅读] (49)JNCA24 网络威胁狩猎演化技术综述
论文阅读·网络安全·sci·威胁情报·威胁狩猎
SUNNY_SHUN1 天前
不需要Memory Bank:CMDR-IAD用2D+3D双分支重建做工业异常检测,MVTec 3D 97.3%
论文阅读·人工智能·算法·3d
0x2111 天前
[论文阅读]In-Place Test-Time Training
论文阅读
Junewang06142 天前
【论文阅读】Farewell to Item IDs
论文阅读·推荐算法
CV-杨帆2 天前
论文阅读:arxiv 2026 A Systematic Security Evaluation of OpenClaw and Its Variants
论文阅读
iiiiii112 天前
【论文阅读笔记】ReVal:让大模型强化学习真正支持离策略(off-policy)数据复用
论文阅读·笔记·语言模型·大模型·llm
就是这么拽呢3 天前
论文查重低但AIGC率高,如何补救?
论文阅读·人工智能·ai·aigc
森诺Alyson3 天前
前沿技术借鉴研讨-2026.4.9(视觉语言模型)
论文阅读·人工智能·经验分享·语言模型·自然语言处理·论文笔记·论文讨论
CV-杨帆4 天前
论文阅读:ICML 2025 COLLABLLM: From Passive Responders to Active Collaborators
论文阅读
CV-杨帆4 天前
论文阅读:arixv 2026 ClawSafety: “Safe“ LLMs, Unsafe Agents
论文阅读