Life long learning

现象:一个model进行multi-task learning做的还可以,说明模型是可以同时学会多个任务的,但是如果训练过程是1个task 1个task的顺序进行,模型就会发生灾难性的遗忘现象,只会做刚学完的task。

目标:让模型不要那么快忘掉过去学到的东西

upper bound:multi-task learning,能不忘并达到multi-task learning水平就是很厉害了。

方法一:Selective Synaptic Plasticity

在下一个task训练的时候要让模型尽可能少的调整对上一个task重要的parameter

参数bi衡量参数对上一个任务的重要性,可以通过调整一下θbi看看上一个task的loss变化大还是小来确定(bi是超参数,人为预先设定,task2 train的时候是不变的)

方法二:Gradient Episodic Memory (GEM)

保存上一个task的少量训练资料,以在新的task每次调整梯度的时候都可以回头算一下上一个task此时的梯度,然后将新旧梯度结合(新梯度为主,这种方法有点像作弊,直接就在进行multi-task learning了,但是区别是它只用上一个task一点点资料来计算个梯度)

相关推荐
isNotNullX7 分钟前
实时数仓和离线数仓还分不清楚?看完就懂了
大数据·数据库·数据仓库·人工智能·数据分析
Liudef0616 分钟前
大语言模型的极限:知识、推理与创造力的边界探析
人工智能·语言模型·自然语言处理
潮湿的心情23 分钟前
亚洲牧原:活跃行业交流,延伸公益版图,市场拓展再结硕果
大数据·人工智能
平和男人杨争争23 分钟前
机器学习14——线性回归
人工智能·机器学习·线性回归
一个天蝎座 白勺 程序猿36 分钟前
飞算JavaAI进阶:重塑Java开发范式的AI革命
java·开发语言·人工智能
李昊哲小课1 小时前
pandas销售数据分析
人工智能·python·数据挖掘·数据分析·pandas
whabc1001 小时前
和鲸社区深度学习基础训练营2025年关卡2(2)sklearn中的MLPClassifier
人工智能·深度学习·numpy
往日情怀酿做酒 V17639296382 小时前
pytorch的介绍以及张量的创建
人工智能·pytorch·python
北辰alk2 小时前
如何实现AI多轮对话功能及解决对话记忆持久化问题
人工智能
智驱力人工智能2 小时前
极端高温下的智慧出行:危险检测与救援
人工智能·算法·安全·行为识别·智能巡航·高温预警·高温监测