论文笔记:Online Class-Incremental Continual Learning with Adversarial Shapley Value

这篇工作的focus 是 memory-based approach

1. 挑战/问题:

  1. 灾难性遗忘:深度神经网络在学习新任务时往往会忘记先前任务的知识。
  2. 内存和计算效率:在个人设备上执行深度学习任务时,需要最小化内存占用和计算成本。
  3. 数据流增量学习:模型需要能够从非独立同分布的数据流中持续学习。

2. Contribution

  1. 提出一种Adversarial Shapley value Experience Replay (ASER)的新颖的基于replay-based的方法。 ASER 的灵感来自于合作博弈论中使用的沙普利值 (SV) ,以将总收益公平地分配给所有参与者 。
  2. 在作者的 CL 设置中,使用 SV 来确定记忆样本对学习表现的贡献。还引入了用于 CL 记忆检索的 SV 的对抗性视角,旨在根据记忆缓冲区中"友好"样本的决策边界保留(以保持学习稳定性并避免遗忘)及其对"对手"的干扰来对记忆样本进行评分当前任务中的样本会破坏现有的基于记忆的类别边界(以鼓励可塑性和最佳学习)。

3. Method

  1. Adversarial Shapley value Experience Replay (ASER):这是一种基于经验回放的方法,利用Shapley值来决定记忆样本对学习性能的贡献。
  2. 对抗性视角:引入了Shapley值的对抗性视角,以在记忆样本中找到既能够保留现有记忆类别边界,又能够最大化地干扰新任务样本的样本。
相关推荐
共绩算力12 分钟前
OpenAI Whisper 语音识别模型:技术与应用全面分析
人工智能·whisper·语音识别·共绩算力
工藤学编程23 分钟前
零基础学AI大模型之Stream流式输出实战
人工智能
不良人龍木木36 分钟前
机器学习-常用库
人工智能·机器学习
罗橙7号40 分钟前
【pyTorch】关于PyTorch的高级索引机制理解
人工智能·pytorch·python
rengang661 小时前
09-随机森林:介绍集成学习中通过多决策树提升性能的算法
人工智能·算法·随机森林·机器学习·集成学习
zskj_qcxjqr1 小时前
数字大健康浪潮下:智能设备重构人力生态,传统技艺如何新生?
大数据·人工智能·科技·机器人
动能小子ohhh1 小时前
AI智能体(Agent)大模型入门【9】--如何在pycharm等其他编译软件调用ocr工具【只写后端代码不演示】
人工智能·python·深度学习·机器学习·pycharm·ocr
mit6.8241 小时前
[Tongyi] 工具集成 | run_react_infer
人工智能·深度学习·算法
无锡布里渊1 小时前
分布式光纤声波振动传感:守护智慧城市燃气管网安全的 “神经末梢”
人工智能·安全·智慧城市
过往入尘土2 小时前
Linux:虚拟世界的大门
linux·人工智能