论文笔记:Online Class-Incremental Continual Learning with Adversarial Shapley Value

这篇工作的focus 是 memory-based approach

1. 挑战/问题:

  1. 灾难性遗忘:深度神经网络在学习新任务时往往会忘记先前任务的知识。
  2. 内存和计算效率:在个人设备上执行深度学习任务时,需要最小化内存占用和计算成本。
  3. 数据流增量学习:模型需要能够从非独立同分布的数据流中持续学习。

2. Contribution

  1. 提出一种Adversarial Shapley value Experience Replay (ASER)的新颖的基于replay-based的方法。 ASER 的灵感来自于合作博弈论中使用的沙普利值 (SV) ,以将总收益公平地分配给所有参与者 。
  2. 在作者的 CL 设置中,使用 SV 来确定记忆样本对学习表现的贡献。还引入了用于 CL 记忆检索的 SV 的对抗性视角,旨在根据记忆缓冲区中"友好"样本的决策边界保留(以保持学习稳定性并避免遗忘)及其对"对手"的干扰来对记忆样本进行评分当前任务中的样本会破坏现有的基于记忆的类别边界(以鼓励可塑性和最佳学习)。

3. Method

  1. Adversarial Shapley value Experience Replay (ASER):这是一种基于经验回放的方法,利用Shapley值来决定记忆样本对学习性能的贡献。
  2. 对抗性视角:引入了Shapley值的对抗性视角,以在记忆样本中找到既能够保留现有记忆类别边界,又能够最大化地干扰新任务样本的样本。
相关推荐
猫先生Mr.Mao1 分钟前
2025年3月AGI技术月评|技术突破重构数字世界底层逻辑
人工智能·aigc·大语言模型·agi·多模态·行业洞察
睿创咨询19 分钟前
科技与商业动态简报
人工智能·科技·ipd·商业
科技在线19 分钟前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
HED30 分钟前
用扣子快速手撸人生中第一个AI智能应用!
前端·人工智能
极小狐32 分钟前
极狐GitLab 如何 cherry-pick 变更?
人工智能·git·机器学习·gitlab
沛沛老爹36 分钟前
从线性到非线性:简单聊聊神经网络的常见三大激活函数
人工智能·深度学习·神经网络·激活函数·relu·sigmoid·tanh
0x2111 小时前
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
人工智能·语言模型·自然语言处理
何大春1 小时前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
mucheni1 小时前
迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
arm开发·人工智能·边缘计算
Jamence1 小时前
多模态大语言模型arxiv论文略读(三十六)
人工智能·语言模型·自然语言处理