[Semantic Seg][KD]FreeKD: Knowledge Distillation via Semantic Frequency Prompt

1. BaseInfo

Title FreeKD: Knowledge Distillation via Semantic Frequency Prompt
Adress https://arxiv.org/abs/2311.12079
Journal/Time CVPR 2024
Author 北大,浙大
Code
Read

2. Creative Q&A

Knowledge Distillation, KD

  1. 目前知识蒸馏的问题:但教师模型在空间域的连续下采样会干扰学生模型分析需模仿的特定信息,导致精度下降。频域蒸馏面临新挑战,低频带上下文信息,高频带信息更丰富但引入噪声,且并非频带内每个像素对性能贡献相同。
  2. 提出 Frequency Prompt,插入教师模型,在微调时吸收语义频率上下文。
  3. 蒸馏期间,通过 Frequency Prompt 生成像素级频率掩码,定位不同频带中感兴趣像素(Pol)。
  4. 针对密集预测任务,采用位置感知关系频率损失,为学生模型提供高阶空间增强。
    该方法称为 FreeKD,可确定频率蒸馏的最佳定位和范围。

在空间域,随着下采样比例增加,图像分辨率降低;在频域,不同下采样比例呈现出不同的频率信息分布,直观呈现下采样操作对图像在空间域和频域表现的影响

(a) Token Insertion:提示作为 token 插入编码器层。

(b) Sum - wise Insertion:提示在输入图像 RGB 通道上求和插入。

© Ours Insertion(本文方法):提示与中间特征相互作用,从中间特征中提炼频率信息,定位感兴趣像素(Pol)并优化频率带,更好地服务于知识蒸馏过程 。

以往知识蒸馏多使用传统损失函数(如 Kullback - Leibler 散度、均方误差 )处理分类和回归输出或中间特征。


频域

这个没怎么看懂暂时放过。

相关推荐
嘀咕博客7 小时前
Visual Prompt Builder-AI 提示词可视化工具
人工智能·prompt·ai工具
top_designer11 小时前
游戏优化“屠龙技”:AI+Substance Painter LOD烘焙工作流
人工智能·游戏·prompt·aigc·设计师·substance painter·游戏美术
CodeNerd影14 小时前
prompt提示词工程---如何让大模型更听得懂人话
笔记·python·prompt
小苑同学14 小时前
PaperReading:《Manipulating Multimodal Agents via Cross-Modal Prompt Injection》
人工智能·网络安全·语言模型·prompt·安全性测试
shy_snow14 小时前
Prompt Optimizer 提示词优化器安装使用
prompt
这张生成的图像能检测吗14 小时前
(论文速读)Prompt-Free Diffusion:告别提示工程的烦恼
人工智能·深度学习·计算机视觉·prompt·图像生成·超分辨率重建·clip
zzywxc7871 天前
如何利用AI技术快速生成专业级的PPT和视频内容
人工智能·自动化·prompt·测试用例·powerpoint·音视频·ai编程
邂逅星河浪漫2 天前
【Spring AI】Ollama大模型-智能对话实现+项目实战(Spring Boot + Vue)
java·人工智能·spring boot·vue·prompt·agent·ollama
海底的星星fly2 天前
【Prompt学习技能树地图】DeepSeek专家模式下的Prompt工程进阶学习实践
人工智能·语言模型·prompt