大语言模型prompt -Template

Template

Template Construction

  • 根据任务手动设计
  • 搜索算法/优化算法 生成优化
  • 文本 / 无意义字符 (3个soft token,例如s1,s2, s3,在训练过程中,第一个变成be动词的概念,比较玄学)
  • 结构化与规则相结合

Example of tasks and corresponding template

例如,在做Summarization时(表格倒数第二条),会加上TL;DR这个prompt,意思是Too Long;Don't Read

例子1 :Template:Incorporation Rules and Logic

例如,在上述图片中显示,在判断A(Mark Twain)与B(Langdon)的关系时,要约束A实体和B实体都是Person类别。

例子2 :Structured Template

  • Key-value pairs for all the prompts
  • organize different tasks to a structured format

例子3: Ensembling Template

  • 多个template融合策略:1. 做平均 2. 加权平均 3. 投票

AUTO PROMPT:Elicting Knowledge from Language Models with Automatically Generated Prompts 2020

额外加了一个T5模型,判断加入哪些prompt可以提升准确性

相关推荐
晓131329 分钟前
第七章 Python基础进阶-异常、模块与包(其五)
人工智能·python
Swift社区34 分钟前
AI+自动化测试:如何让测试编写效率提升10倍?
人工智能
weixin_442424031 小时前
Opencv计算机视觉编程攻略-第九节 描述和匹配兴趣点
人工智能·opencv·计算机视觉
thinkMoreAndDoMore1 小时前
深度学习处理文本(5)
人工智能·python·深度学习
AI_Echoes1 小时前
检索增强生成(RAG) 优化策略篇
人工智能
congregalis1 小时前
跳出框架:一步步实现简易Deep Search Agent
人工智能·程序员·源码
weixin_750335521 小时前
李沐 X 动手学深度学习--第九章 现代循环神经网络
人工智能·rnn·深度学习
摸鱼仙人~1 小时前
深度学习数据集划分比例多少合适
人工智能·深度学习
Blossom.1182 小时前
《探索边缘计算:重塑未来智能物联网的关键技术》
人工智能·深度学习·神经网络·物联网·机器学习·计算机视觉·边缘计算
果冻人工智能2 小时前
探索 AI 思维的剖析
人工智能