本周我主要是看了王筝学姐的论文《基于增量更新的中华心法问答系统研究》
本篇论文与之前研究的不同之处在于，它解决了之前的模型灾难性遗忘的问题，即学习新知识时，旧任务性能急剧下降的问题。
为此，采用了LAUR模型来解决此问题。
- 基础模型
· BERT：提供双向语义编码能力。
· BGE：用于语义向量提取和相似度匹配，采用RetroMAE预训练 + 自知识蒸馏微调。
- LAUR模型------两大核心模块
（1）自适应不确定性正则化模块
目的是防止灾难性遗忘
将权重参数转为"均值+不确定性"分布，不确定性越低→参数越重要→约束越强。包含UR₁（弹性约束）、UR₂（稀疏性引导）、UR₃（不确定性稳定性维护）和约束学习率机制。
（2）并行残差适应模块
目的是高效学习新任务
在BERT每一层Transformer中并行加入轻量化通路（降维→低维处理→升维→融合输出），以极低参数开销适配新任务，且不破坏主干网络的已有知识。
LAUR的模型流程如下：
根据实验结果也可以看出bert在旧任务上遗忘率偏高，而LAUR模型则几乎没有下降。在新任务的表现上，准确率也不输bert。
- 小结
王筝学姐的毕业论文，相对比之前的问答系统，主要是解决了模型遗忘的问题，引入了LAUR模型，这个模型通过两个关键的机制来解决：①"自适应不确定性正则化"给重要知识加保护锁；②"并行残差适应模块"让新知识走专用通道，不干扰旧知识。从实验结果上来看，此模型很好的解决了bert模型的灾难性遗忘问题。