学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
半夏知半秋41 分钟前
unity中的Horizontal和Vertical介绍
笔记·学习·unity·c#·游戏引擎
乘风对月歌1 小时前
Gradio入门学习笔记
数据库·笔记·学习
suzh1qian1 小时前
Unity类银河战士恶魔城学习总结(P143 Save Inventory System 保存仓库中的物品)
学习·unity·c#·游戏引擎·bug
yuwinter2 小时前
鸿蒙HarmonyOS学习笔记(6)
笔记·学习·harmonyos
一尘之中2 小时前
如何做好一份技术文档?
人工智能·学习
不系之舟713 小时前
matlab学习笔记:第五章5.4.1 字符串数组的创建方法
笔记·学习
征途黯然.3 小时前
利用Prompt工程为LLM提升推理能力
prompt·agent
赵闪闪1683 小时前
Java学习路线:从新手到精通的实战指南
java·开发语言·学习
lx学习3 小时前
Python学习35天
开发语言·python·学习