学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
kkcodeer43 分钟前
大模型Prompt原理、编写原则与技巧以及衡量方法
人工智能·prompt·ai大模型
diablobaal2 小时前
云计算学习100天-第21天
学习
IT古董2 小时前
第四章:大模型(LLM)】07.Prompt工程-(5)self-consistency prompt
prompt
Ethan.Yuan14 小时前
【深度长文】Anthropic发布Prompt Engineering全新指南
大模型·llm·prompt·提示工程
好望角雾眠14 小时前
第一阶段C#基础-10:集合(Arraylist,list,Dictionary等)
笔记·学习·c#
艾伦~耶格尔14 小时前
【集合框架LinkedList底层添加元素机制】
java·开发语言·学习·面试
星仔编程14 小时前
python学习DAY46打卡
学习
大霞上仙15 小时前
实现自学习系统,输入excel文件,能学习后进行相应回答
python·学习·excel
yatingliu201916 小时前
HiveQL | 个人学习笔记
hive·笔记·sql·学习
武当豆豆16 小时前
C++编程学习(第25天)
开发语言·c++·学习