论文笔记:Online Class-Incremental Continual Learning with Adversarial Shapley Value

这篇工作的focus 是 memory-based approach

1. 挑战/问题:

  1. 灾难性遗忘:深度神经网络在学习新任务时往往会忘记先前任务的知识。
  2. 内存和计算效率:在个人设备上执行深度学习任务时,需要最小化内存占用和计算成本。
  3. 数据流增量学习:模型需要能够从非独立同分布的数据流中持续学习。

2. Contribution

  1. 提出一种Adversarial Shapley value Experience Replay (ASER)的新颖的基于replay-based的方法。 ASER 的灵感来自于合作博弈论中使用的沙普利值 (SV) ,以将总收益公平地分配给所有参与者 。
  2. 在作者的 CL 设置中,使用 SV 来确定记忆样本对学习表现的贡献。还引入了用于 CL 记忆检索的 SV 的对抗性视角,旨在根据记忆缓冲区中"友好"样本的决策边界保留(以保持学习稳定性并避免遗忘)及其对"对手"的干扰来对记忆样本进行评分当前任务中的样本会破坏现有的基于记忆的类别边界(以鼓励可塑性和最佳学习)。

3. Method

  1. Adversarial Shapley value Experience Replay (ASER):这是一种基于经验回放的方法,利用Shapley值来决定记忆样本对学习性能的贡献。
  2. 对抗性视角:引入了Shapley值的对抗性视角,以在记忆样本中找到既能够保留现有记忆类别边界,又能够最大化地干扰新任务样本的样本。
相关推荐
学术头条17 分钟前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
准橙考典18 分钟前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
ai_xiaogui21 分钟前
AIStarter教程:快速学会卸载AI项目【AI项目管理平台】
人工智能·ai作画·语音识别·ai写作·ai软件
孙同学要努力26 分钟前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络
喵~来学编程啦1 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
深圳市青牛科技实业有限公司1 小时前
【青牛科技】应用方案|D2587A高压大电流DC-DC
人工智能·科技·单片机·嵌入式硬件·机器人·安防监控
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
几两春秋梦_2 小时前
符号回归概念
人工智能·数据挖掘·回归
用户691581141653 小时前
Ascend Extension for PyTorch的源码解析
人工智能
用户691581141653 小时前
Ascend C的编程模型
人工智能