【LLM】Prompt微调

Prompt

在机器学习中,Prompt通常指的是一种生成模型的输入方式。生成模型可以接收一个Prompt作为输入,并生成与该输入相对应的输出。Prompt可以是一段文本、一个问题或者一个片段,用于指导生成模型生成相应的响应、续写文本等。

Prompt优化

一般大模型蕴含的训练数据量往往是百亿级别甚至万亿级别。大模型通常无法在小数据上微调。因此,基于Prompt的微调技术便成为了首要选择。

Prompt优化方式

有两种方向上的优化方式:

  1. 从Prompt结构上

    • Few-Shot(FS):模型推理时给予少量样本,但不允许进行权重更新。
    • One-Shot(1S):模型推理时只给予一个样本。
    • Zero-Shot(0S):模型推理时不允许提供样本。
  2. 从Prompt内容上

    • Role Prompt :与大模型玩角色扮演游戏。让大模型想象自己是某方面的专家、因而获得更好的任务效果。
    • Instruction Prompt:指令形式的Prompt。
    • Chain-of-Thought(CoT)Prompt :常见于推理和计算任务中,通过让大模型给出推理或计算步骤来解决较难的推理问题,比如进行应用数学计算。
    • Multimodal Prompt:多模态Prompt。顾名思义,输入不再是单一模态的Prompt,而是包含了众多模态的信息。比如同时输入文本和图像与多模态大模型进行交互。

比较重要的是Few-Shot PromptChain-of-Thought Prompt。它们对后续人们构建AI Agent应用以及各项大模型产品落地起到了关键的作用。

Few-Shot Prompt

eg:尝试给宠物狗取个名字

  • Zero-Shot
  • Few-Shot

    可以看到示例中,Zero-Shot 的Prompt中,大模型给出的名字比较泛化,只是一种可能的比较合理的解释。Few-Shot 的Prompt中,大模型能够了解我们的取名倾向,并给出和示例风格一致的名字。

Chain-of-Thought Prompt

CoT Prompt则能够大幅提高大模型的多步推理能力:

  • 不推理
  • Cot推理

    可以看出,大模型在直接给出结果时,有时候答案明显是错误的,但我们只需要改动一下Prompt,使用Cot Prompt ,让他输出详细的计算过程或者思考过程,大模型就能够给出正确的结果。

CRISPE框架

有时合理组合使用这些Prompt优化方法,就可以让Prompt效果更好,整体框架结构:

  • CR:Capacity and Role(能力和角色),你希望AI扮演怎样的角色。
  • I:Insight(洞察),提供背景信息和上下文。
  • S:Statement(陈述),你希望AI做什么。
  • P:Personality(个性),你希望AI以什么风格或方式回答你。
  • E:Experiment(实验),要求AI为你提供多个答案。

假设我们的目标是获取一个浅显易懂的关于导数的解释方式,第一种方式是:

第二种方式我们来应用一下框架:

Prompt的持续优化

Prompt的优化并不是一蹴而就的,而是一个持续的过程,使用上述方式和框架也不能够保证每次都可以一次就拿到满意的结果,尤其是当我们需要大模型完成一些比较复杂的工作时。但是遵循这些方法,我们可以有更高的可能性能够通过较少的调整次数得到一个满意的结果,并且能够在这个结果上进行微调,比如润色,适当地增加图表等。

Prompt 除了人工调节,也可以让机器自动调节,也就是由机器自动生成 Prompt,这就是 Prompt Tuning。

文章参考:https://www.zhihu.com/collection/920873327

相关推荐
2401_841495641 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
倔强青铜三1 小时前
苦练Python第66天:文件操作终极武器!shutil模块完全指南
人工智能·python·面试
倔强青铜三2 小时前
苦练Python第65天:CPU密集型任务救星!多进程multiprocessing模块实战解析,攻破GIL限制!
人工智能·python·面试
强哥之神2 小时前
浅谈目前主流的LLM软件技术栈:Kubernetes + Ray + PyTorch + vLLM 的协同架构
人工智能·语言模型·自然语言处理·transformer·openai·ray
zskj_qcxjqr2 小时前
七彩喜艾灸机器人:当千年中医智慧遇上现代科技
大数据·人工智能·科技·机器人
Zack_Liu3 小时前
深度学习基础模块
人工智能·深度学习
zy_destiny3 小时前
【工业场景】用YOLOv8实现抽烟识别
人工智能·python·算法·yolo·机器学习·计算机视觉·目标跟踪
狠活科技3 小时前
免登录!免安装ClI,Claude Code官方插件接入API使用教程
人工智能·vscode·ai编程
闲看云起3 小时前
Bert:从“读不懂上下文”的AI,到真正理解语言
论文阅读·人工智能·深度学习·语言模型·自然语言处理·bert
nueroamazing4 小时前
PPT-EA:PPT自动生成器
vue.js·python·语言模型·flask·大模型·项目·ppt