学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
nmjkhome18 分钟前
22 梁单元和谱分析进一步讲解(第47课)-solid works simulation
学习
明快de玄米6125 分钟前
Electron学习文档
学习·electron·vim
小小de风呀1 小时前
de风——【从零开始学习C++】(十八):AVL树——让二叉搜索树自己“站起来“的自平衡黑科技
c++·科技·学习
MartinYeung52 小时前
[论文学习]MCPTox:面向真实世界MCP服务器的工具投毒攻击基准测试
运维·服务器·学习
SHIPKING3932 小时前
【Harness Engineering】02_Prompt 不是人格,Prompt 是控制平面
prompt·harness
math_hongfan2 小时前
事务下单与状态流转:ArkTS 的 JOIN 联表在鸿蒙订单里实战
android·学习·华为·harmonyos
weixin_431600442 小时前
NestJS 入门(9):连上数据库,SQL 写在哪?
数据库·后端·sql·学习·nest.js
举手2 小时前
Epoll模型
linux·c++·学习
MartinYeung52 小时前
[论文学习]JBShield:通过激活概念分析与操纵防御大语言模型越狱攻击
人工智能·学习·语言模型
MartinYeung53 小时前
[论文学习]SMSR:带平滑检索的签名记忆——针对持久化LLM智能体系统运行时内存投毒的认证防御
人工智能·学习