论文笔记:Anytime Continual Learning for Open Vocabulary Classification

1. 挑战/问题

在开放词汇表图像分类中,随着时间的推移,模型需要不断学习新的标签,同时保留对旧标签的记忆。这导致几个挑战:

  1. 数据增量学习:模型需要在任意时间点有效地吸收新的训练样本。
  2. 模型持续改进:模型应在接收到新样本时不断更新和提高。
  3. 存储与计算效率:随着数据量的增加,如何高效存储和计算成为问题。

2. Contribution:

  1. 提出了一个新的开放词汇持续学习方法:anytime continual learning,目标是在收到新示例时高效改进,并保持随时预测任意标签集的能力。
  2. 动态权重调整:在部分微调模型和固定开放词汇表模型的预测之间动态调整权重。
  3. PCA压缩:引入了一种基于注意力加权的PCA压缩方法,减少存储和计算负担

3. Method

  1. 对具有固定标签嵌入的特征进行部分微调;
  2. 在线训练,每批次由新训练样本和类平衡存储样本组成;
  3. 在线学习每个标签的准确性,以有效组合原始模型预测和调整后的模型预测;
  4. 损失修改以实现"以上都不是"预测,这也稳定了开放词汇训练;
  5. 中间层特征压缩可减少训练样本的存储并提高速度,而不会造成太大的准确性损失。

4. results of evaluation/experiments

论文通过一系列实验验证了提出方法的有效性:

  1. 灵活的学习与推理:在数据增量、类别增量和任务增量学习中均优于现有方法。
  2. 零样本预测:在没有训练样本的情况下,模型也能进行有效的预测。
  3. 存储效率:压缩方法减少了30倍的数据存储需求,同时对预测精度的影响很小。

论文还探讨了该方法在不同设置下的性能,包括任务增量、类别增量和数据增量学习,以及灵活的推理设置。实验结果表明,AnytimeCL方法在所有设置和阶段中均优于现有技术,特别是在早期阶段,当有限的数据用于类别或任务时,该方法显示出显著的性能提升

相关推荐
GoldenSpider.AI15 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我15 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风16 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT16 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人16 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络17 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan17 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷17 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监17 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
f6m274dww2cmd18 小时前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能