论文略读: LLaMA Pro: Progressive LLaMA with Block Expansion

ACL 2024

  • 人类通常在不损害旧技能的情况下获得新技能
  • ------>论文提出了一种用于LLMs的新的预训练后方法
    • 包括Transformer块的扩展
    • 仅使用新语料库调整扩展块,以高效而有效地提升模型的知识,而不引发灾难性的遗忘
  • 在代码和数学语料库上进行实验,得到了LLAMA PRO-8.3B
    • 初始化自LLaMA2-7B,在一般任务、编程和数学方面表现出色
    • LLAMA PRO及其遵循指令的对应模型(LLAMA PRO - INSTRUCT)在各种基准测试中取得了先进的性能
相关推荐
zhengdao99062 小时前
【论文笔记】Llama 3 技术报告
论文阅读·llama
橘子在努力19 小时前
【橘子大模型】关于PromptTemplate
python·ai·llama
Chaos_Wang_2 天前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
艾鹤2 天前
ollama安装与使用
人工智能·llama
清易3 天前
windows大模型llamafactory微调
llama
漠北尘-Gavin3 天前
【Python3.12.9安装llama-cpp-python遇到编译报错问题解决】
python·llama
爱听歌的周童鞋4 天前
理解llama.cpp如何进行LLM推理
llm·llama·llama.cpp·inference
溯源0064 天前
vscode调试python(transformers库的llama为例)
vscode·python·llama
Flying`5 天前
LLaMA-Factory微调实操记录
llama
张飞飞飞飞飞5 天前
通过Llama-Factory对Deepseek-r1:1.5b进行微调
llama