论文笔记:Anytime Continual Learning for Open Vocabulary Classification

1. 挑战/问题

在开放词汇表图像分类中,随着时间的推移,模型需要不断学习新的标签,同时保留对旧标签的记忆。这导致几个挑战:

  1. 数据增量学习:模型需要在任意时间点有效地吸收新的训练样本。
  2. 模型持续改进:模型应在接收到新样本时不断更新和提高。
  3. 存储与计算效率:随着数据量的增加,如何高效存储和计算成为问题。

2. Contribution:

  1. 提出了一个新的开放词汇持续学习方法:anytime continual learning,目标是在收到新示例时高效改进,并保持随时预测任意标签集的能力。
  2. 动态权重调整:在部分微调模型和固定开放词汇表模型的预测之间动态调整权重。
  3. PCA压缩:引入了一种基于注意力加权的PCA压缩方法,减少存储和计算负担

3. Method

  1. 对具有固定标签嵌入的特征进行部分微调;
  2. 在线训练,每批次由新训练样本和类平衡存储样本组成;
  3. 在线学习每个标签的准确性,以有效组合原始模型预测和调整后的模型预测;
  4. 损失修改以实现"以上都不是"预测,这也稳定了开放词汇训练;
  5. 中间层特征压缩可减少训练样本的存储并提高速度,而不会造成太大的准确性损失。

4. results of evaluation/experiments

论文通过一系列实验验证了提出方法的有效性:

  1. 灵活的学习与推理:在数据增量、类别增量和任务增量学习中均优于现有方法。
  2. 零样本预测:在没有训练样本的情况下,模型也能进行有效的预测。
  3. 存储效率:压缩方法减少了30倍的数据存储需求,同时对预测精度的影响很小。

论文还探讨了该方法在不同设置下的性能,包括任务增量、类别增量和数据增量学习,以及灵活的推理设置。实验结果表明,AnytimeCL方法在所有设置和阶段中均优于现有技术,特别是在早期阶段,当有限的数据用于类别或任务时,该方法显示出显著的性能提升

相关推荐
四口鲸鱼爱吃盐2 分钟前
Pytorch | 从零构建MobileNet对CIFAR10进行分类
人工智能·pytorch·分类
苏言の狗3 分钟前
Pytorch中关于Tensor的操作
人工智能·pytorch·python·深度学习·机器学习
bastgia1 小时前
Tokenformer: 下一代Transformer架构
人工智能·机器学习·llm
菜狗woc1 小时前
opencv-python的简单练习
人工智能·python·opencv
15年网络推广青哥1 小时前
国际抖音TikTok矩阵运营的关键要素有哪些?
大数据·人工智能·矩阵
weixin_387545641 小时前
探索 AnythingLLM:借助开源 AI 打造私有化智能知识库
人工智能
engchina2 小时前
如何在 Python 中忽略烦人的警告?
开发语言·人工智能·python
paixiaoxin3 小时前
CV-OCR经典论文解读|An Empirical Study of Scaling Law for OCR/OCR 缩放定律的实证研究
人工智能·深度学习·机器学习·生成对抗网络·计算机视觉·ocr·.net
OpenCSG3 小时前
CSGHub开源版本v1.2.0更新
人工智能
weixin_515202493 小时前
第R3周:RNN-心脏病预测
人工智能·rnn·深度学习