PictSure:通过视觉嵌入功能挑战 _Few-Shot _分类的新方法

概述

近年来,从少量样本中识别新类别的 "少镜头图像分类"(FSIC)在图像分类领域备受关注。

尤其是上下文学习(ICL)方法,这种方法在测试时只提供几张有标签的图像,无需训练即可进行推理,在灵活性和效率方面很有前景。然而,以往的研究并未充分研究图像特征(嵌入向量)的预处理和学习方法对 ICL 分类准确性的影响。

本研究提出了一种仅使用视觉信息的 ICL 模型 PictSure,并系统分析了嵌入模型的结构、预训练方法和学习时机等因素对 FSIC 性能的影响。结果表明,PictSure 的性能明显优于传统方法,尤其是在使用预训练嵌入模型时。

这表明,不依赖语义语言信息,只依赖视觉特征的质量,也能实现高精度分类。

建议的方法

所提出的 "PictSure "是一种仅使用图像和基于变换器架构的 ICL 模型,用于少镜头分类,可从输入支持集(图像及其标签)和查询图像的上下文中预测查询标签。转换器的输入是一串结合了图像嵌入和标签嵌入的标记,而专门设计的非对称注意力掩码提供了一种查询取决于支持的结构。

该模型的另一个特点是对视觉嵌入质量的依赖性很强。ResNet 和 Vision Transformer (ViT) 被用作嵌入模型,在使用 ImageNet 或其他模型进行预训练后,它们或被固定或被微调。

特别是在 ViT 中,通过引入三重损失(Triplet Loss)和通常的分类损失(Classification Loss),可以获得结构更合理的嵌入空间。这使得视觉上相似的图像彼此接近,有助于稳定 ICL 中的标签预测。

PictSure 不仅适用于自然图像,还适用于语言信息贫乏的领域,如医学和农业。

实验

为了测试 PictSure 的有效性,我们使用域内(接近训练数据)和域外(不同分布)数据集进行了少量分类任务。实验在 5 路 1 次和 5 路 5 次设置下进行,并将 PictSure 的性能与基准 KNN 和基于 CLIP 的 ICL 方法 CAML 进行了比较。

结果表明,使用 ResNet 和 ViT 以及预训练和冻结嵌入模型的 PictSure 明显优于其他方法,尤其是在医疗和专业图像领域(如脑肿瘤、器官CMNIST)。

相比之下,使用 CLIP 的 CAML 在自然图像中取得了较高的准确率,而在医学领域的准确率却有所下降。这表明 CLIP 基于语言的预训练并不适合识别视觉细节。

此外,PictSure 对过度学习表现出强大而稳定的学习行为,随着支持集(上下文长度)数量的增加,准确率也在提高,而在 8 个支持集之后就会出现性能领先的情况。

相关推荐
伞伞悦读10 分钟前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI12 分钟前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
码农杂谈000737 分钟前
不止三折叠:网易智企 IM UIKit 鸿蒙版一键升级多形态适配
人工智能
泯泷1 小时前
别再手动盯盘了!用这个免费工具实现股市自动监控
人工智能
陈如水1 小时前
Spring AI Alibaba 在多 Agent 场景下的实践
java·人工智能·spring
瓶瓶持续学习中2 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络2 小时前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe10102 小时前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
注塑机数据采集联网3 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关