[Semantic Seg][KD]FreeKD: Knowledge Distillation via Semantic Frequency Prompt

1. BaseInfo

Title FreeKD: Knowledge Distillation via Semantic Frequency Prompt
Adress https://arxiv.org/abs/2311.12079
Journal/Time CVPR 2024
Author 北大,浙大
Code
Read

2. Creative Q&A

Knowledge Distillation, KD

  1. 目前知识蒸馏的问题:但教师模型在空间域的连续下采样会干扰学生模型分析需模仿的特定信息,导致精度下降。频域蒸馏面临新挑战,低频带上下文信息,高频带信息更丰富但引入噪声,且并非频带内每个像素对性能贡献相同。
  2. 提出 Frequency Prompt,插入教师模型,在微调时吸收语义频率上下文。
  3. 蒸馏期间,通过 Frequency Prompt 生成像素级频率掩码,定位不同频带中感兴趣像素(Pol)。
  4. 针对密集预测任务,采用位置感知关系频率损失,为学生模型提供高阶空间增强。
    该方法称为 FreeKD,可确定频率蒸馏的最佳定位和范围。

在空间域,随着下采样比例增加,图像分辨率降低;在频域,不同下采样比例呈现出不同的频率信息分布,直观呈现下采样操作对图像在空间域和频域表现的影响

(a) Token Insertion:提示作为 token 插入编码器层。

(b) Sum - wise Insertion:提示在输入图像 RGB 通道上求和插入。

© Ours Insertion(本文方法):提示与中间特征相互作用,从中间特征中提炼频率信息,定位感兴趣像素(Pol)并优化频率带,更好地服务于知识蒸馏过程 。

以往知识蒸馏多使用传统损失函数(如 Kullback - Leibler 散度、均方误差 )处理分类和回归输出或中间特征。


频域

这个没怎么看懂暂时放过。

相关推荐
relis11 小时前
解密大语言模型推理:Prompt Processing 的内存管理与计算优化
android·语言模型·prompt
relis21 小时前
大语言模型推理的幕后英雄:深入解析Prompt Processing工作机制
人工智能·语言模型·prompt
zzywxc78721 小时前
深入探讨AI三大领域的核心技术、实践方法以及未来发展趋势,结合具体代码示例、流程图和Prompt工程实践,全面展示AI编程的强大能力。
人工智能·spring·机器学习·ios·prompt·流程图·ai编程
relis21 小时前
大语言模型推理揭秘:Prompt Processing阶段如何高效处理输入提示?
人工智能·语言模型·prompt
relis21 小时前
解密llama.cpp:从Prompt到Response的完整技术流程剖析
prompt·llama
JasonRobert21 小时前
Datawhale AI夏令营复盘[特殊字符]:我如何用一个Prompt,在Coze Space上“画”出一个商业级网页?
人工智能·prompt
悟乙己1 天前
如何区分 Context Engineering 与 Prompt Engineering
android·java·prompt
IT古董2 天前
【第四章:大模型(LLM)】10.微调方法与实战-(1)Prompt Tuning
大模型·prompt
king_harry2 天前
Postgresql客户端psql提示符(Prompt)配置
数据库·postgresql·prompt
MichaelIp2 天前
利用ms-swift微调和百炼平台微调大模型
人工智能·gpt·自然语言处理·prompt·aigc·swift·agi