学习Prompt Turning

传统的微调因为代价很高,而且一旦权重很大,这种fine 微微的意思是调不动模型的,所以需要这种提示词调

mindnlp直接有

peft config

peft_config = PromptTuningConfig(task_type="SEQ_CLS", num_virtual_tokens=10)

方便我们进行prompt tuning

就只不过是一种peft

是使用的glue数据集,里面很多丰富种类的数据

看来是用mrpc任务,判断2个句子是不是同一描述。

微调的参数少,这才是peft

用ms设置求导,和模型搭建

开始了微调

最后得到了评估的分数

相关推荐
你叶不叶2 分钟前
sap rap 的技术开发自己的学习路径
学习
厚皮龙5 分钟前
VAE 与世界模型学习总结
学习
小拉达不是臭老鼠5 分钟前
Unity05_3D数学
学习·unity·游戏引擎
冲上云霄的Jayden33 分钟前
LangGraph4j+LangChain4J 实验智能客服系统增加基于LLM 解决Prompt注入问题
prompt·agent·智能客服·langchain4j·agent安全·langgraph4j·prompt注入
talen_hx2961 小时前
《零基础入门Spark》学习笔记 Day 16
笔记·学习·spark
咬_咬1 小时前
go语言学习(map)
开发语言·学习·golang·map
克里斯蒂亚诺·罗纳尔达1 小时前
智能体学习21——知识检索(RAG)
人工智能·学习·ai
Jackyzhe2 小时前
从零学习Kafka:认证机制
分布式·学习·kafka
深蓝海拓2 小时前
基于QtPy (PySide6) 的PLC-HMI工程项目(八)在上位机中解析上行报文
网络·笔记·python·学习·plc
豆包公子2 小时前
程序流监控 —— AUTOSAR CP 功能安全在裸机 MCU 上的实现:实践篇
单片机·嵌入式硬件·学习