论文笔记:Online Class-Incremental Continual Learning with Adversarial Shapley Value

这篇工作的focus 是 memory-based approach

1. 挑战/问题:

  1. 灾难性遗忘:深度神经网络在学习新任务时往往会忘记先前任务的知识。
  2. 内存和计算效率:在个人设备上执行深度学习任务时,需要最小化内存占用和计算成本。
  3. 数据流增量学习:模型需要能够从非独立同分布的数据流中持续学习。

2. Contribution

  1. 提出一种Adversarial Shapley value Experience Replay (ASER)的新颖的基于replay-based的方法。 ASER 的灵感来自于合作博弈论中使用的沙普利值 (SV) ,以将总收益公平地分配给所有参与者 。
  2. 在作者的 CL 设置中,使用 SV 来确定记忆样本对学习表现的贡献。还引入了用于 CL 记忆检索的 SV 的对抗性视角,旨在根据记忆缓冲区中"友好"样本的决策边界保留(以保持学习稳定性并避免遗忘)及其对"对手"的干扰来对记忆样本进行评分当前任务中的样本会破坏现有的基于记忆的类别边界(以鼓励可塑性和最佳学习)。

3. Method

  1. Adversarial Shapley value Experience Replay (ASER):这是一种基于经验回放的方法,利用Shapley值来决定记忆样本对学习性能的贡献。
  2. 对抗性视角:引入了Shapley值的对抗性视角,以在记忆样本中找到既能够保留现有记忆类别边界,又能够最大化地干扰新任务样本的样本。
相关推荐
星期天要睡觉43 分钟前
自然语言处理(NLP)——自然语言处理原理、发展历程、核心技术
人工智能·自然语言处理
低音钢琴1 小时前
【人工智能系列:机器学习学习和进阶01】机器学习初学者指南:理解核心算法与应用
人工智能·算法·机器学习
大千AI助手2 小时前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
新知图书2 小时前
大模型微调定义与分类
人工智能·大模型应用开发·大模型应用
山烛2 小时前
一文读懂YOLOv4:目标检测领域的技术融合与性能突破
人工智能·yolo·目标检测·计算机视觉·yolov4
大千AI助手2 小时前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码
钱彬 (Qian Bin)3 小时前
项目实践4—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
钱彬 (Qian Bin)3 小时前
项目实践3—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
Microsoft Word3 小时前
向量数据库与RAG
数据库·人工智能·向量数据库·rag
2401_836900334 小时前
YOLOv5:目标检测的实用派王者
人工智能·计算机视觉·目标跟踪·yolov5