论文笔记:Anytime Continual Learning for Open Vocabulary Classification

1. 挑战/问题

在开放词汇表图像分类中,随着时间的推移,模型需要不断学习新的标签,同时保留对旧标签的记忆。这导致几个挑战:

  1. 数据增量学习:模型需要在任意时间点有效地吸收新的训练样本。
  2. 模型持续改进:模型应在接收到新样本时不断更新和提高。
  3. 存储与计算效率:随着数据量的增加,如何高效存储和计算成为问题。

2. Contribution:

  1. 提出了一个新的开放词汇持续学习方法:anytime continual learning,目标是在收到新示例时高效改进,并保持随时预测任意标签集的能力。
  2. 动态权重调整:在部分微调模型和固定开放词汇表模型的预测之间动态调整权重。
  3. PCA压缩:引入了一种基于注意力加权的PCA压缩方法,减少存储和计算负担

3. Method

  1. 对具有固定标签嵌入的特征进行部分微调;
  2. 在线训练,每批次由新训练样本和类平衡存储样本组成;
  3. 在线学习每个标签的准确性,以有效组合原始模型预测和调整后的模型预测;
  4. 损失修改以实现"以上都不是"预测,这也稳定了开放词汇训练;
  5. 中间层特征压缩可减少训练样本的存储并提高速度,而不会造成太大的准确性损失。

4. results of evaluation/experiments

论文通过一系列实验验证了提出方法的有效性:

  1. 灵活的学习与推理:在数据增量、类别增量和任务增量学习中均优于现有方法。
  2. 零样本预测:在没有训练样本的情况下,模型也能进行有效的预测。
  3. 存储效率:压缩方法减少了30倍的数据存储需求,同时对预测精度的影响很小。

论文还探讨了该方法在不同设置下的性能,包括任务增量、类别增量和数据增量学习,以及灵活的推理设置。实验结果表明,AnytimeCL方法在所有设置和阶段中均优于现有技术,特别是在早期阶段,当有限的数据用于类别或任务时,该方法显示出显著的性能提升

相关推荐
小oo呆3 小时前
【自然语言处理与大模型】模型压缩技术之量化
人工智能·自然语言处理
Magnum Lehar3 小时前
ApophisZerg游戏引擎项目目录展示
人工智能·vscode·编辑器·游戏引擎
飞桨PaddlePaddle3 小时前
Wan2.1和HunyuanVideo文生视频模型算法解析与功能体验丨前沿多模态模型开发与应用实战第六期
人工智能·算法·百度·音视频·paddlepaddle·飞桨·deepseek
绿算技术3 小时前
存储新势力:助力DeepSeek一体机
人工智能·科技·缓存·fpga开发
Y1nhl4 小时前
搜广推校招面经八十一
开发语言·人工智能·pytorch·深度学习·机器学习·推荐算法·搜索算法
胡攀峰4 小时前
第12章 微调生成模型
人工智能·大模型·llm·sft·强化学习·rlhf·指令微调
yuanlaile4 小时前
AI大模型自然语言处理能力案例演示
人工智能·ai·自然语言处理
小白白搭建4 小时前
WordPress AI 原创文章自动生成插件 24小时全自动生成SEO原创文章 | 多语言支持 | 智能配图与排版
人工智能
Jamence4 小时前
多模态大语言模型arxiv论文略读(三十九)
人工智能·语言模型·自然语言处理
ai大模型木子4 小时前
嵌入模型(Embedding Models)原理详解:从Word2Vec到BERT的技术演进
人工智能·自然语言处理·bert·embedding·word2vec·ai大模型·大模型资料