技术栈
prefix-tuning
小易老师AI实战
8 天前
lora
·
peft
·
prefix-tuning
·
全参微调
·
p-tuning
·
大模型微调
·
大模型面试
大模型微调：全参微调、PEFT系列方法核心区别（重点LoRA）
做大模型落地、RAG之外的定制化能力开发，微调是绕不开的技术。面试中经常会问到：全参微调和PEFT的区别？LoRA对比Prefix-Tuning、P-Tuning优势在哪？ 很多人只知道LoRA好用，但说不清底层差异、优缺点和推理侧代价。本文把主流微调方案统一整理，适合面试背诵+工程选型参考。
大千AI助手
1 年前
人工智能
·
神经网络
·
自然语言处理
·
llm
·
prefix-tuning
·
大千ai助手
·
前缀微调
Prefix-Tuning：大语言模型的高效微调新范式
本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
天狼啸月1990
2 年前
lora
·
llm
·
prompt
·
fine-tuning
·
prefix-tuning
·
p-tuning
·
prompt-tunning
LLM 研究方向(一): LLM Prompts--p-tuning、LoRA
目录1. prompt-tuning background2. Prompt Tuning 模型介绍2.1 2021 prefix-tuning
江小皮不皮
3 年前
人工智能
·
深度学习
·
大模型
·
微调
·
prefix-tuning
·
前缀调优
Prefix-Tuning 论文概述
大规模预训练语言模型(PLM)在下游自然语言生成任务中广泛采用fine-tuning的方法进行adaptation。但是fine-tuning需要更新模型所有的参数,对于每个任务都需要保存一份完整的模型拷贝,存储成本很高。文章提出prefix-tuning方法,其只优化一个小的连续任务特定向量(称为prefix),KEEP 语言模型参数固定。该方法受prompting的启发,允许后续token参考这个prefix,就像参考一系列“虚拟token”。
datamonday
3 年前
llm
·
微调
·
prefix-tuning
【LLM微调范式1】Prefix-Tuning: Optimizing Continuous Prompts for Generation
论文标题：Prefix-Tuning: Optimizing Continuous Prompts for Generation
我是有底线的