昇思MindSpore第六课---Roberta Prompt Turning

1. Roberta Prompt Turning的概念

在了解预训练语言模型的基础,以及预训练语言模型在Pre-training和Fine-tuning之后,我们已经可以预想到 Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务 。

Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》(NIPS2020),其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。

2 实践

2.1 配置环境

安装mindnlp 套件

2.2 模型与数据集加载

本案例对roberta-large模型基于GLUE基准数据集进行prompt tuning。

2.3 模型微调(prompt tuning)

按照如下步骤定义训练逻辑:

  1. 构建正向计算函数
  2. 函数变换,获取微分函数
  3. 定义训练一个step的逻辑
  4. 遍历训练数据集进行模型训练,同时每一个epoch后,遍历验证数据集获取当前的评价指标(accuracy、f1 score)

3. 感悟

每节课的深度在不断增加,对于初学者确实有些难度,很多概念也是云里雾里,但是对于模型的架构还是有一个比较清晰的概念。对于模型与数据的加载以及模型的训练也更加熟悉。对于模型的微调也有了一个更清楚的认识。也了解了大模型通过提供"提示"来鼓励预先训练的模型做出特定的预测,指定要完成的任务。这对于大模型是一个非常重要的概念,也让我们更理解大模型运行的原理。

相关推荐
何双新10 小时前
L3-4、让 Prompt 更聪明:调试技巧与智能问答系统实战
prompt
engchina10 小时前
来自B站-AI匠的“RAG的prompt设计指南“的部分截图
prompt·rag
正宗咸豆花16 小时前
开源提示词管理平台PromptMinder使用体验
人工智能·开源·prompt
Lilith的AI学习日记16 小时前
AI提示词(Prompt)终极指南:从入门到精通(附实战案例)
大数据·人工智能·prompt·aigc·deepseek
AndCo2 天前
Prompt 结构化提示工程
prompt
layneyao2 天前
大语言模型(LLM)的Prompt Engineering:从入门到精通
人工智能·语言模型·prompt
何双新2 天前
L2-1、打造稳定可控的 AI 输出 —— Prompt 模板与格式控制
人工智能·prompt
何双新3 天前
L3-3、从单轮到链式任务:设计协作型 Prompt 系统
服务器·搜索引擎·prompt
RockLiu@8054 天前
大模型技术全景解析:从基础架构到Prompt工程
语言模型·prompt
带娃的IT创业者5 天前
《AI大模型应知应会100篇》第35篇:Prompt链式调用:解决复杂问题的策略
android·人工智能·prompt