昇思MindSpore第六课---Roberta Prompt Turning

1. Roberta Prompt Turning的概念

在了解预训练语言模型的基础,以及预训练语言模型在Pre-training和Fine-tuning之后,我们已经可以预想到 Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务 。

Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》(NIPS2020),其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。

2 实践

2.1 配置环境

安装mindnlp 套件

2.2 模型与数据集加载

本案例对roberta-large模型基于GLUE基准数据集进行prompt tuning。

2.3 模型微调(prompt tuning)

按照如下步骤定义训练逻辑:

  1. 构建正向计算函数
  2. 函数变换,获取微分函数
  3. 定义训练一个step的逻辑
  4. 遍历训练数据集进行模型训练,同时每一个epoch后,遍历验证数据集获取当前的评价指标(accuracy、f1 score)

3. 感悟

每节课的深度在不断增加,对于初学者确实有些难度,很多概念也是云里雾里,但是对于模型的架构还是有一个比较清晰的概念。对于模型与数据的加载以及模型的训练也更加熟悉。对于模型的微调也有了一个更清楚的认识。也了解了大模型通过提供"提示"来鼓励预先训练的模型做出特定的预测,指定要完成的任务。这对于大模型是一个非常重要的概念,也让我们更理解大模型运行的原理。

相关推荐
姚瑞南9 小时前
从模糊感知到量化评估:构建一个Prompt打分工具
人工智能·自然语言处理·chatgpt·prompt·aigc
猪猪的超超14 小时前
从吉卜力漫画到艺术创造:GPT-4o多种风格绘图Prompt大全
人工智能·prompt·文生图·gpt-4o
带娃的IT创业者14 小时前
《AI大模型应知应会100篇》第7篇:Prompt Engineering基础:如何与大模型有效沟通
人工智能·prompt
Moutai码农19 小时前
大模型-提示词(Prompt)技巧
人工智能·语言模型·prompt
Moutai码农19 小时前
大模型-提示词(Prompt)最佳实践
人工智能·语言模型·prompt
Psycho_MrZhang19 小时前
PROMPT 速查
prompt
在下_诸葛2 天前
DeepSeek的API调用 | 结合DeepSeek API文档 | Python环境 | 对话补全(二)
人工智能·python·gpt·prompt·aigc
姚瑞南3 天前
【Prompt实战】广告营销客服专家
人工智能·chatgpt·prompt·aigc
云梦之上4 天前
视觉风格提示词:Visual Style Prompting with Swapping Self-Attention(风格迁移)
pytorch·python·计算机视觉·ai作画·prompt
Golinie4 天前
使用Ollama+Langchaingo+Gin通过定义prompt模版实现翻译功能
llm·prompt·gin·langchaingo