昇思MindSpore第六课---Roberta Prompt Turning

1. Roberta Prompt Turning的概念

在了解预训练语言模型的基础,以及预训练语言模型在Pre-training和Fine-tuning之后,我们已经可以预想到 Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务 。

Prompt-Tuning起源于GPT-3的提出《Language Models are Few-Shot Learners》(NIPS2020),其认为超大规模的模型只要配合好合适的模板就可以极大化地发挥其推理和理解能力。

2 实践

2.1 配置环境

安装mindnlp 套件

2.2 模型与数据集加载

本案例对roberta-large模型基于GLUE基准数据集进行prompt tuning。

2.3 模型微调(prompt tuning)

按照如下步骤定义训练逻辑:

  1. 构建正向计算函数
  2. 函数变换,获取微分函数
  3. 定义训练一个step的逻辑
  4. 遍历训练数据集进行模型训练,同时每一个epoch后,遍历验证数据集获取当前的评价指标(accuracy、f1 score)

3. 感悟

每节课的深度在不断增加,对于初学者确实有些难度,很多概念也是云里雾里,但是对于模型的架构还是有一个比较清晰的概念。对于模型与数据的加载以及模型的训练也更加熟悉。对于模型的微调也有了一个更清楚的认识。也了解了大模型通过提供"提示"来鼓励预先训练的模型做出特定的预测,指定要完成的任务。这对于大模型是一个非常重要的概念,也让我们更理解大模型运行的原理。

相关推荐
da_vinci_x1 天前
告别手动“拼图”:AI+自动化游戏UI雪碧图(Sprite Sheet)工作流
人工智能·游戏·设计模式·prompt·aigc·技术美术·游戏美术
zzywxc7872 天前
AI 行业应用:AI 在金融、医疗、教育、制造业等领域的落地案例
人工智能·spring·金融·prompt·语音识别·xcode
嘀咕博客3 天前
Visual Prompt Builder-AI 提示词可视化工具
人工智能·prompt·ai工具
top_designer3 天前
游戏优化“屠龙技”:AI+Substance Painter LOD烘焙工作流
人工智能·游戏·prompt·aigc·设计师·substance painter·游戏美术
CodeNerd影3 天前
prompt提示词工程---如何让大模型更听得懂人话
笔记·python·prompt
小苑同学3 天前
PaperReading:《Manipulating Multimodal Agents via Cross-Modal Prompt Injection》
人工智能·网络安全·语言模型·prompt·安全性测试
shy_snow3 天前
Prompt Optimizer 提示词优化器安装使用
prompt
这张生成的图像能检测吗3 天前
(论文速读)Prompt-Free Diffusion:告别提示工程的烦恼
人工智能·深度学习·计算机视觉·prompt·图像生成·超分辨率重建·clip
zzywxc7874 天前
如何利用AI技术快速生成专业级的PPT和视频内容
人工智能·自动化·prompt·测试用例·powerpoint·音视频·ai编程
邂逅星河浪漫4 天前
【Spring AI】Ollama大模型-智能对话实现+项目实战(Spring Boot + Vue)
java·人工智能·spring boot·vue·prompt·agent·ollama