大语言模型:Large Language Models Are Human-Level Prompt Engineers概述

研究内容

如何通过prompt,在不进行微调大语言模型的前提下,增加大语言模型的表现

研究动机

  • prompt非常有用,但是人工设置的非常不自然;
  • 因此提出了要自动使用大语言模型自己选择prompt;
  • 取得了很好的效果。

作者主要是提出了三件事:

如何让大语言模型生成prompt

LLM是可以分为两类的,

  • 其中一类GPT是只能从前到后的,他们不支持句子补全(在一段话当中填写空缺位置);
  • 另一类,则是可以反向的例如T5、GLM、 InsertGPT,这些模型就会支持句子补全。

因此作者为这两类模型分别设置了两种方法,例子如下:

同时作者指出,也不一定要和这俩完全相同,使用回答评价指标一定可以找到一个更加适合指令instruction生成的prompt这里只是样板(template)。作者给出了在本文实验当中实际采用的prompt:

如何评价这些prompt

就是简单的让其跑一下分

如何进一步优化prompt

可以使用大语言模型进一步resample跑一下选出来的高分指令instruction:

再在这些指令当做选择更好的指令。

相关推荐
DisonTangor19 分钟前
DeepSeek-OCR 2: 视觉因果流
人工智能·开源·aigc·ocr·deepseek
薛定谔的猫198224 分钟前
二十一、基于 Hugging Face Transformers 实现中文情感分析情感分析
人工智能·自然语言处理·大模型 训练 调优
发哥来了31 分钟前
《AI视频生成技术原理剖析及金管道·图生视频的应用实践》
人工智能
数智联AI团队43 分钟前
AI搜索引领开源大模型新浪潮,技术创新重塑信息检索未来格局
人工智能·开源
不懒不懒1 小时前
【线性 VS 逻辑回归:一篇讲透两种核心回归模型】
人工智能·机器学习
冰西瓜6001 小时前
从项目入手机器学习——(四)特征工程(简单特征探索)
人工智能·机器学习
Ryan老房1 小时前
未来已来-AI标注工具的下一个10年
人工智能·yolo·目标检测·ai
丝斯20112 小时前
AI学习笔记整理(66)——多模态大模型MOE-LLAVA
人工智能·笔记·学习
小鸡吃米…2 小时前
机器学习中的代价函数
人工智能·python·机器学习
chatexcel3 小时前
元空AI+Clawdbot:7×24 AI办公智能体新形态详解(长期上下文/自动化任务/工具粘合)
运维·人工智能·自动化