技术栈
prefix-tuning
天狼啸月1990
4 个月前
lora
·
llm
·
prompt
·
fine-tuning
·
prefix-tuning
·
p-tuning
·
prompt-tunning
LLM 研究方向(一): LLM Prompts--p-tuning、LoRA
目录1. prompt-tuning background2. Prompt Tuning 模型介绍2.1 2021 prefix-tuning
江小皮不皮
1 年前
人工智能
·
深度学习
·
大模型
·
微调
·
prefix-tuning
·
前缀调优
Prefix-Tuning 论文概述
大规模预训练语言模型(PLM)在下游自然语言生成任务中广泛采用fine-tuning的方法进行adaptation。但是fine-tuning需要更新模型所有的参数,对于每个任务都需要保存一份完整的模型拷贝,存储成本很高。文章提出prefix-tuning方法,其只优化一个小的连续任务特定向量(称为prefix),KEEP 语言模型参数固定。该方法受prompting的启发,允许后续token参考这个prefix,就像参考一系列“虚拟token”。
datamonday
1 年前
llm
·
微调
·
prefix-tuning
【LLM微调范式1】Prefix-Tuning: Optimizing Continuous Prompts for Generation
论文标题：Prefix-Tuning: Optimizing Continuous Prompts for Generation