ACL 2024
- 人类通常在不损害旧技能的情况下获得新技能
- 然而，对于大型语言模型（LLMs），例如从LLaMA到CodeLLaMA，情况正好相反。
- 深度学习笔记：灾难性遗忘-CSDN博客
- ------>论文提出了一种用于LLMs的新的预训练后方法
- 包括Transformer块的扩展
- 仅使用新语料库调整扩展块，以高效而有效地提升模型的知识，而不引发灾难性的遗忘
- 在代码和数学语料库上进行实验，得到了LLAMA PRO-8.3B
- 初始化自LLaMA2-7B，在一般任务、编程和数学方面表现出色
- LLAMA PRO及其遵循指令的对应模型（LLAMA PRO - INSTRUCT）在各种基准测试中取得了先进的性能
