Life long learning

现象:一个model进行multi-task learning做的还可以,说明模型是可以同时学会多个任务的,但是如果训练过程是1个task 1个task的顺序进行,模型就会发生灾难性的遗忘现象,只会做刚学完的task。

目标:让模型不要那么快忘掉过去学到的东西

upper bound:multi-task learning,能不忘并达到multi-task learning水平就是很厉害了。

方法一:Selective Synaptic Plasticity

在下一个task训练的时候要让模型尽可能少的调整对上一个task重要的parameter

参数bi衡量参数对上一个任务的重要性,可以通过调整一下θbi看看上一个task的loss变化大还是小来确定(bi是超参数,人为预先设定,task2 train的时候是不变的)

方法二:Gradient Episodic Memory (GEM)

保存上一个task的少量训练资料,以在新的task每次调整梯度的时候都可以回头算一下上一个task此时的梯度,然后将新旧梯度结合(新梯度为主,这种方法有点像作弊,直接就在进行multi-task learning了,但是区别是它只用上一个task一点点资料来计算个梯度)

相关推荐
AAA修煤气灶刘哥22 分钟前
为什么你的Codex 重连到 5/5 才开始工作?理解重试、协议回退与代理链路
人工智能·架构·openai
墨林陌39 分钟前
AI 热点日报(2026-11-17):阿里腾讯新模型齐发,华为开源具身世界模型,Anthropic IPO登场
人工智能
奶油话梅糖1 小时前
容器启停 2.5 毫秒:11 天 1,700 Star 的 Kiri,用一个 900 KB 的 PID 1 干掉了 runc 和 dockerd
前端·人工智能·rust
吴名氏.2 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
东坡肘子2 小时前
把「更好」放在「更快」之前 -- 肘子的 Swift 周报 #162
人工智能·swiftui·swift
Csvn12 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考13 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考13 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习