Mindspore 公开课 - prompt

prompt 介绍

Fine-Tuning to Prompt Learning
Pre-train, Fine-tune
  1. BERT
  • bidirectional transformer,词语和句子级别的特征抽取,注重文本理解
  • Pre-train: Maked Language Model + Next Sentence Prediction
  • Fine-tune: 根据任务选取对应的representation(最后一层hidden state输出),放入线性层中

例:Natural Language Inference

Pre-train, Fine-tune: models
  1. BERT
    • bidirectional transformer,词语和句子级别的特征抽取,注重文本理解
    • Pre-train: Maked Language Model + Next Sentence Prediction
    • Fine-tune: 根据任务选取对应的representation(最后一层hidden state输出),放入线性层中
      例:Named Entity Recognition
Pre-train, Fine-tune: models
  1. GPT
    • auto-regressive model,通过前序文本预测下一词汇,注重文本生成
    • Pre-train: L 1 ( U ) = ∑ i log ⁡ P ( u i ∣ u i − k , ... , u i − 1 ; Θ ) L_1(\mathcal{U})=\sum_i \log P\left(u_i \mid u_{i-k}, \ldots, u_{i-1} ; \Theta\right) L1(U)=∑ilogP(ui∣ui−k,...,ui−1;Θ)
    • Fine-tune: task-specific input transformations + fully-connected layer
Pre-train, Fine-tune: challenges
  1. gap between pre-train and fine-tune

少样本学习能力差、容易过拟合

Pre-train, Fine-tune: challenges
  1. gap between pre-train and fine-tune

少样本学习能力差、容易过拟合

Pre-train, Fine-tune: challenges
  1. cost of fine-tune

现在的预训练模型参数量越来越大,为了一个特定的任务去 finetuning 一个模型,然后部署于线上业务,也会造成部署资源的极大浪费

Pre-train, Prompt, Predict: what is prompting

  • fine-tuning: 通过改变模型结构,使模型适配下游任务
  • prompt learning: 模型结构不变,通过重构任务描述,使下游任务适配模型
Pre-train, Prompt, Predict: workflow of prompting
Pre-train, Prompt, Predict: workflow of prompting
  1. Template: 根据任务设计prompt模板,其中包含 input slot[X] 和 answer slot [Z],后根据模板在 input slot 中填入输入
  2. Mapping (Verbalizer): 将输出的预测结果映射回label
Pre-train, Prompt, Predict: prompt design

Prompting 中最主要的两个部分为 template 与 verbalizer 的设计。

他们可以分别基于任务类型和预训练模型选择(shape)或生成方式(huamn effort)进行分类。

相关推荐
ssf-yasuo1 天前
SPIRE: Semantic Prompt-Driven Image Restoration 论文阅读笔记
论文阅读·笔记·prompt
ToToBe2 天前
L1G3000 提示工程(Prompt Engineering)
chatgpt·prompt
龙的爹23332 天前
论文 | Legal Prompt Engineering for Multilingual Legal Judgement Prediction
人工智能·语言模型·自然语言处理·chatgpt·prompt
manfulshark2 天前
OPENAI官方prompt文档解析
ai·prompt
龙的爹23332 天前
论文 | Evaluating the Robustness of Discrete Prompts
人工智能·gpt·自然语言处理·nlp·prompt·agi
我爱学Python!2 天前
AI Prompt如何帮你提升论文中的逻辑推理部分?
人工智能·程序人生·自然语言处理·chatgpt·llm·prompt·提示词
落魚京2 天前
29种Prompt Engineering
prompt
编程武士3 天前
mark 一些攻防 prompt
prompt·攻防
坚定信念,勇往无前3 天前
AI-Prompt、RAG、微调还是重新训练?选择正确的生成式AI的使用方法
人工智能·prompt
bagell3 天前
全面掌握Prompt技术:通用框架详解、优化策略与关键指标综述
人工智能·深度学习·自然语言处理·prompt·产品经理