提示词工程实战:5种失效模式与7步修复框架

  1. 我们首先要弄明白的一个问题就是, 提示词失效这件事究竟呈现的是怎样一种状态。

通常情况是, 大多数人在编写那种指令文本的时候处于这样一种状态: 他们的脑袋里只存在一个非常不清楚的念头, 仅仅敲出寥寥几行文字就随意地发送给了那个智能工具接收方, 然而最终产生的输出效果却并不符合预期, 并不是那么准确, 接着他们便开始了添加各种修饰性词语的动作, 补充了更多限制性的前提条件, 还插入了诸如"务必"、"一定要"、"极其重要"这类带有强烈语气色彩的表达, 可是每一次修改之后情况反而变得更加混乱不堪, 直至最后完全没有了继续优化的耐心, 于是采取了直接放弃的策略, 并且得出了一种认为当前使用的这个模型本身存在缺陷的判断。

错误的原因并非出在模型身上, 而是因为你并没有搞清楚提示词究竟是在哪里出现了失效的状况。

我在提示词工程这个领域足足干了两年多的时间, 不仅亲自带队, 还会协助众多朋友去调整适用于不同场景的提示词, 由于经历的失败经历实在太多, 我便察觉到了一个反复出现的规律, 那就是提示词之所以会失效, 绝对不是因为巧合或者意外才发生的随机事件, 它的表现总是遵循着某种固定的模式与套路, 这道理其实就和医生给病人看病是一样的情形, 必须要先准确识别出患者到底是什么病症, 医生才能有依据地去开具对应的药方, 倘若连最基本的症状表现都判断错误, 那么接下来所有进行的修改与优化工作, 实际上都是在没有方向地进行瞎猜。

在这篇文章里, 我会把我自己总结出的关于失效模式的内容完整详细地讲清楚。具体来说, 这里面涉及了5种失效模式, 还有一套包含7步的修复框架, 另外还有3个用于工程的模板。

这套内容不管是对于还没有开始接触提示词设计的新手朋友来说, 还是对于那些平时已经有能力设计出几百条提示词的资深老手来说, 其实都是非常有用的。因为通过学习和应用这个方法论, 大家都可以在实际工作中建立起一种更系统化、更有条理的去进行问题排查以及后续优化改进的思路和习惯。

先来说明一下, 究竟什么是"失效", 我给出的定义是模型输出和真实意图之间存在偏差, 这种偏差是可复现的并且是非随机性的, 这里要注意两个关键词, 分别是可复现和非随机性, 如果只是偶尔出现一次输出效果不好的情况, 那可能是模型采样导致的错误, 重新开始运行再一次即可, 但是如果相同的提示词进行十次运行其中有七八次的结果都不正确, 那就说明提示词本身的结构存在问题了。

我为什么非要强调这个定义, 理由很简单, 因为现在不少人都把模型能力不够和提示词失效这两件事混在一起了。

你举个例子来看啊, 如果你让一个只能处理文本的模型去生成一张图片, 那无论你怎么去优化你的提示词都是没有用的, 这属于能力边界的问题, 根本不算提示词出的问题。把这两个概念给区分清楚, 这才是把提示词工程做好的第一步。

下面呢, 我来把那种特别常见的失效模式一个个给拆开来讲清楚。针对每一种情况, 我都会提供出那些典型的毛病表现, 还有那种根本原因的分析, 再加上真实发生的例子。这样子你可以拿你自己的提示词来对着检查一下, 看看有没有这些问题在哪里。

  1. 完整拆解五种失效模式, 接下来是二点一环节, 也就是指令模糊型失效, 这种情况下模型并不知道你到底想要什么东西。

这是一个最常见, 但同时也是一个极其容易被忽视的失效模式, 其典型的症状表现就是, 模型输出的内容在大方向上是正确的, 但是在细节方面却全部是错误的, 或者表现为看起来像是回答了问题, 但实际上回答的内容并不是你所期望得到的结果。

这就好比举个例子。当你输入一条指令: "帮我写一个关于鹈鹕骑自行车的描述"的时候, 模型给出的回应可能是千差万别的。

它也许会给出一段科普知识文章, 用来介绍鹈鹕的体型特征以及自行车的具体结构;也可能会给你创作一段童话故事;甚至有可能给出一份物理分析报告, 用来详细计算和讨论鹈鹕骑自行车这件事在现实中是否行得通。然而, 你心里真正想要的画面描述, 其实是专门用于文生图模型的提示内容。但模型并不清楚你的这一具体需求。

你要搞清楚, 到底什么才是根本原因呢? 关键在于你的提示词里缺少了对所谓的输出类型以及使用场景的约束性规定。像这样去写一个描述, 这种指令实在是过于宽泛了, 导致模型方面没有明确的指引, 它只能是根据自己平时所见过的数据分布来进行猜测行为的展开。

至于在模型的整个训练数据里面, 关于如何去写描述的鹈鹕骑自行车, 这一类具体任务的样本数量几乎是零的存在。所以它最终的结果只能通过泛化这种方式来尝试猜测一下, 出现猜错这种情况是百分之百会发生的现象。

我见过一个情况, 那个情况是非常夸张的, 有一个例子是这样的, 有一个人写了一句话, 这句话是帮我分析一下这个数据, 然后他贴出了一大堆的数字, 模型给出了一篇回答, 这篇回答是一篇关于数据分析方法论的科普文章, 这篇文章完全没有去碰他给的那些数字, 原因是什么呢, 原因是比较简单的, 他没有说请基于以下数据进行分析, 所以模型是以为他在问应该怎么做数据分析。

修复这种失效情况的核心想法在于, 要把仅仅讨论"做什么"这一件事, 转化为去详细说明以什么样的身份、在什么具体场景下、输出具有何种格式的内容, 并且要达到什么样的标准才行。至于具体的操作方法, 我会在随后的第三小节部分的修复框架当中对这些问题展开非常详细的论述和说明的。

2.2 由于约束条件过多而导致的模型顾此失彼, 这种现象被归类为信息过载型失效。

跟模糊型的情况正好相反, 出现这种失效的根本原因, 在于你施加在模型上的约束数量太多了。它表现出的典型症状主要包括两种情况。

第一种情况是, 模型仅仅满足了前面的那几条要求, 而把后面提出的那些要求统统给忽略掉了。第二种情况是, 模型为了能够同时去满足你所提出的所有要求, 导致最终输出的内容变得不伦不类, 成四不像的样子。

我曾实施过一个实验方案, 具体操作是将相同的提示词内容, 分别施加五种不同的约束条件、十种不同的约束条件和二十种不同的约束条件, 并以此作为测试依据进行对比观察。

最终的反馈结果显示出了显著的差异变化: 在仅设定五个约束条件的阶段中大语言模型能够将其需求完整无缺地达成;而当约束数量增加到十个的情况下, 该语言模型只能稳定地符合七至八个约束项目的相关要求;更为严重的情况出现在增加至二十个约束条件之时, 此时它仅仅能够处理五个至六个约束条件, 与此同时其生成的具体内容质量也暴露出了比较明显的下滑趋势。

出现这种情况的原因是, 模型的注意力资源是有限的。每一个约束条件都会消耗掉一部分的注意力, 随着约束条件的增加, 每个约束条件所分到的注意力就会变得越来越少, 当约束条件的数量超过了一定的限度之后, 模型开始出现丢三落四的现象。

更麻烦的是, 有些约束条件是彼此存在矛盾关系的。打个比方来说, 一方面你提出了需要简洁的输出要求, 另一方面又指定了必须覆盖所有细节的要求, 这两方面规定在逻辑层面构成了直接的冲突内容。

当模型系统面临这类矛盾约束条件的时候, 它通常倾向于去选择一种折中处理方案, 最终呈现的结果往往是两方面结果都无法令人满意的状态。

我看到过一个那种比较典型的失败的例子, 具体来说是有个人写了一条专门用来生成动漫人物三视图的提示词, 在这条提示词里强行加了三十多个限制条件, 这些条件详细到头发颜色、眼睛颜色、穿的服装、人的姿势、背景环境、光影效果、绘画风格、图像的分辨率画面的构图方式以及长宽比例等等, 最后结果是模型出来的图, 人物的动作姿态是准确的但是衣服的颜色或者款式是错误的, 如果说衣服是对的那么整体画风又会变得不对。

后来, 我帮忙把他那个约束拆分出了"必须满足"和"尽量满足"这两个组别。我们只保留了8个核心约束。结果呢, 输出的质量立马就上了一个不小的台阶。

2.第三, 上下文缺失型失效, 这种情况发生的原因是模型并不清楚你内心当中的那些背景信息。

这种类型上的失误, 其最具有代表性的临床表现就是: 模型在输出的时候所生成的那些东西, 虽然在技术层面来讲是绝对没有任何错误的, 但是它们却与使用者个人的实际情况完全地脱节并且完全不吻合。

就像你写了"帮我优化这段代码"这几个字, 再把一整段代码也贴上去的时候。模型也许能给你交出一份标准的, 或者说比较通用的优化方案。可是呢。它实际上并不清楚你的软件到底是用在什么样的运行环境里的。

它也根本没法去找到你那段代码具体卡在哪里。它还完全不会知道你自己那边定下来了一套什么样的代码规范要求。它最后给你的。只能是那种写在教科书里面的一个建议样子。这种建议可能压根就没有办法帮你解决你现在实际遇到的那些问题。

再例如, 倘若你发出指令让系统代写一篇邮件, 而大语言模型回给了你一封格式严谨且标准的商务信函, 这往往是因为你的实际需求并非如此, 而是希望与一位关系十分密切的同事进行交流, 此时的沟通语调应当是轻松乃至随性的。

正因模型无法获知你与该邮件接收者之间究竟存在何种人际关联, 它便只能依照最稳妥、最常见的默认状态, 去采用正式商务这一种文风来进行创作。

这类失效的根本原因在于, 你脑海中存在的隐性知识并没有被显性化处理。你所掌握的很多信息, 对于模型来说是完全陌生的。你可能在心里觉得某个知识点是显而易见的, 认为这还用详细说明吗, 然而, 模型恰恰就缺乏这种属于常识范围内的、不需要额外解释的信息。

我经历过的最大失误, 发生于使用AI编程辅助工具的期间。当时我只简单地发送提示, 请对方协助修复一处软件故障, 并且附带了系统报错的具体信息。模型随即提供了一种解决方案, 但该方案是基于版本3.8的代码逻辑编写的。

然而, 我的实际运行环境是版本3.11, 由于这两个版本之间某些应用程序接口的功能已经发生变更, 导致原方案无法直接适用。此后, 我形成了一个固定的操作习惯。在执行操作时, 我会主动在提示信息中明确列出当前的运行环境详情、具体的版本号以及所有依赖库的版本状态。

这一做法显著减少了后续调试过程中需要反复调整的耗时, 从而极大地提升了工作效率。

2.在第四种属于失控的格式方面出现了失败的情况, 其具体表现是输出的整体结构并没有达到我们所期望的那种样子。

这类失效的情况是在那些需要结构化输入的输出场景里面是非常普遍存在的。

它最典型的表现症状就是: 当你要求输出JSON格式的时候, 模型给出来的结果里面是混带有解释性文字内容的JSON数据;还有当你明确要求输出表格形式的时候, 模型给出来的却是大段的纯文字内容;以及当你要求把内容分点进行列表阐述时, 模型最终交出的答案却是一整段不分行的长文字。

这种情况的根源一般是, 你没有提供具体的格式范例, 另外就是你没有在提示词当中用力强调, 必须只输出特定的内容, 严禁输出其他的附加文字。

模型在默认的情况下, 行为方式是比较倾向于提供帮助的, 所以它通常会有这样一种倾向, 就是往自己的输出内容里头添加一些解释性的话语, 加进一些过渡性的连接以及做一些总结性的陈述。假如你没有给出明确的禁止命令去限制它这么做的话, 它就会擅自做决定, 从而按照自己的想法去进行上述操作。

我做过一个对比测试。同样的任务。提示词A是"请以JSON格式输出结果"。提示词B是"请以JSON格式输出结果, 不要包含任何解释文字、不要使用代码块、直接输出可解析的JSON字符串"。测试结果是: A的格式合规率大约是60%。B的格式合规率超过95%。

这个巨大的差异对于工程化的应用场景而言, 具有致命的破坏性存在的影响。一旦你的下游端程序需要去解析由模型所产生的输出内容, 当输出的数据结构不符合规定的要求标准时, 就会导致程序运行过程中出现严重报错的情况停止服务。

因此, 为了确保系统稳定, 格式方面的所有约束条件都必须表述得极其清晰明确没有任何歧义空间, 并且最好能够进一步提供出正面的符合要求的实例作为参考, 同时也要给出反面的错误示例以作警示说明。

2.这种情况被称为语义漂移型失效, 在多轮对话发生的过程中, 意图会逐渐出现偏离。

这种类型的失效情况, 仅仅在多轮对话的场景之中才会出现, 它的最具代表性的一种表现状态是: 在第一轮的输出过程里面还算表现得比较良好, 可是从第二轮开始便偏离了正确的轨道, 最终到了第五轮的时候已经完全地脱离了最初设定的目标。

原因在于, 在每一轮对话之中, 模型会重新去理解整个的上下文内容, 而你后续的指令很有可能就会覆盖或者稀释掉最开始的指令, 尤其是在你在同一轮里面同时去做多件事情的时候, 比如说既让模型去修改内容, 同时又让模型去调整格式, 并且还让模型去补充信息, 这种情况下, 模型就非常容易抓错重点。

我遭遇过一个具有代表性的情境, 就是使用人工智能技术来辅助创作长篇幅的文章。在第一轮对话中, 我向模型提供了非常详尽的大纲以及对行文风格的特定要求, 随后得到的输出结果显得相当不错。

到了第二轮, 我的指令是要求将其中的第二段内容修改得更加具体一些, 模型确实完成了对第二段的修改, 然而它同时也顺手对其他所有段落进行了一次所谓的优化操作, 导致整体风格开始逐渐偏离最初的设定。

进入第三轮后, 我向它指出第三段里的数据存在错误, 并要求换成2024年的数据, 它在替换掉数据之后, 竟然把整篇文章所使用的时态全都进行了修改。一直到了第五轮的时候, 文章已经被改得都不像原来的样子了。

这种针对失效情况的修复思路, 与前述的四种情况存在着一定程度的差异性。它的核心在于, 必须在对话策略这一层级实施相关的结构设计举措, 而绝非简单地仅仅对提示词内容进行修改操作。至于该问题的具体解决方法细节, 我将专门在文档第四章中所提供的工程模板部分来进行详细的阐述和说明。

这五种失效模式整理成了一张对照表, 以此来方便你快速查找并定位目标对象。

故障表现, 常见现象, 主要根源, 高频出现的具体情况。

指令模糊型

总体的方向是对的, 但是具体的细节却完全弄错了。

没有给出需要输出的具体类型, 同时也没有对使用场景进行必要的约束。

开放式创作任务

信息过载型

只满足部分约束

人们的注意力资源变得分散, 不再集中。

多约束精细控制

上下文缺失型

技术上对,实际不符

隐性知识未显性化

对代码进行的优化操作, 以及用于撰写的电子邮件。

格式失控型

结构不符合预期

未明确禁止额外输出

结构化数据生成

语义漂移型

在经历多轮过程之后, 就偏离了目标。

后面的指令会把原来的指令给覆盖掉。

在进行长对话, 以及需要多次反复修改的时候。

  1. 这是一个完整的七步修复框架, 涵盖了从诊断到验证的各个阶段。

在明确了失效模式之后, 接下来的问题就是该如何进行修复。我总结出了一个包含七个步骤的框架, 这个顺序是不能够乱来的, 因为每一个步骤都具备它自身的独特作用。

3.首先我们要做的是一下子第一步, 把这个失效的情况给复现出来, 然后去确认一下它这个现象并不是那种随机的波动。

这一步是很多人很容易直接跳过去的一个过程, 但是这一过程却是最为核心的一个关键步骤, 你一定要记住这一点, 你需要去使用同一个提示词来执行运行工作并且至少要进行5次这样的操作行为, 然后观察一下失效的情况是否能够实现稳定式的复现效果出现, 如果在进行的5次测试尝试里面只有1次的情况下出现了问题出错了, 那么这很有可能是存在模型方面的一些随机的不确定性带来的问题影响的, 而并不一定是那个提示词本身所导致的错误和责任所在。

我是怎么进行判断的呢, 根据我的经验而言, 当你使用同一个提示词并且在相同的参数条件下连续运行五次的时候, 如果有三次或者超过三次的情况都出现了类似的问题, 那么就可以将其判定为提示词已经失效了, 但是如果每一次运行时出现的问题都不相同, 那很有可能是因为该任务本身的开放程度显得过于强烈, 这种情况下需要优先采取的措施是将任务的覆盖范围适度收紧。

在这一步当中, 还有另一方面的作用, 就是去收集那些足够多的出现错误的样本数据。因为只有清楚模型到底是哪里出了错, 才能找到对应的办法来解决它, 从而做到对症下药。我一般会把这5次产生的输出结果都保存起来, 并且要标注出每次具体存在什么问题, 以此来形成一个关于失败模式的清单。

3.第二步, 把失效的类型给找准了, 再对着上面的列表一个一个去找, 看看能对上哪一类的。

你手里拿着那些失败的样本, 需要去对照第二节里讲到的五种失效模式, 然后根据这些信息来判断你的提示词到底属于哪一个或者哪几个类别, 这里要特别留意的一点是。

一条提示词有可能同时存在多种失效模式, 比如说它既存在着模糊的情况, 又存在着过载的现象, 同时也存在着缺少上下文的问题, 还存在格式失控的状况。

我的建议是, 先修最严重的那一类, 具体要怎么判断哪个最严重呢, 主要看它对输出质量的影响程度, 如果格式错了导致下游程序完全没法用, 那么格式问题是最严重的, 如果格式还行但内容完全跑偏, 那么内容问题才是更严重的。

3.执行第三步骤, 对该指令进行重新编写, 重写时所采用的结构方式需要严格包含角色、任务、约束以及示例这四大要素。

这属于进行修复操作时最为关键的一个环节。我个人提议采用由四个基本要素所构成的结构框架, 来对提示词实施重新编写的过程:

这四个要素的具体排列顺序也是存在一定讲究的。我在进行设置的时候, 通常情况下会把角色这个部分放置在最前面的位置, 因为这一举措能够对模型在后续阶段所生成内容的整体风格产生直接的影响。

关于任务部分的设定, 则是安排在角色描述之后的位置。而对于约束条件的添加, 则是放在完成任务要求设定之后的顺序。最后, 用于参考的示例才会被放置在列表的末尾处。

为什么示例要放在最后这个地方呢。原因在于示例在这里充当了锚点的角色。把它放在最终位置之后, 模型在处理生成操作的时候, 就会以最接近的间距去参考这个示例。倘若有人把示例摆在了最前面的位置。那么模型很有可能会错误地把它归类为仅仅是背景资料。而不会把它看作是用于输出的格式模板。

3.4 第四步: 把约束条件进行精简处理, 明确地区分出什么是必须要做到的规定, 以及什么是尽可能去达成的目标。

把全部的约束条件都一一罗列出来, 随后将它们划分为两类, 一类是属于必须得以满足的硬约束, 另一类是属于尽量要去满足的软约束, 其中对于硬约束的数量要把守关员严格掌控在五条之内不可逾越, 同时对于软约束的条目数量也同样需要限制在五条以内如果实际数量超过了上述设定的上限, 那么就必须引起重视, 认真考虑是否需要对整体任务进行进一步的拆分处理。

具体的拆分方法是什么? 举个例子来说。如果你手头有着15条约束的话, 可以把它们划分为三个子任务, 每一个子任务分配5条约束的内容, 然后分成三轮来一一完成。这样做的结果就是虽然交互的轮次数量有所增加, 然而每一轮所产出内容的质量都会有着更加显著的提升表现。

根据我个人的经验分享法则, 单次提示词里面的硬性约束数量最好是不超过7条。如果这个数量超过了7条, 那么模型遵守指令的概率就会出现非常明显的下降。这个数字当然不是绝对固定不变的, 它是与模型本身的能力水平直接相关的 , 但是大家可以把它当作一个参考标准来看待。

3.第五步, 补充上下文信息, 将那些属于默认常识、通常不需要提及的内容也一并明确地说出来。

这一步骤的主要目的是专门处理由于上下文信息缺失所导致的故障情况, 在这个时候, 你需要将你脑袋里面那些被视为"默认"的知识内容全部书写出来, 这里所说的内容包括但不限于以下几个方面。

我一般是采用"上下文清单"这个形式来进行相关的检查工作, 具体的做法是这样的, 就是假设有这么一个人完全不了解你所做的这个项目, 然后让这个人来直接阅读这条提示词去判断他是否能够准确理解你的具体需求是什么, 如果答案是说他不能理解的话, 那么就可以得出一个结论, 说明在你之前的编写过程中还有部分必须的上下文信息没有被完整地写出来。

3.到第六步的时候, 我们要进行格式锚定, 这主要是借助示例来锁定最终输出的具体结构。

针对那些格式出现失控情况而导致失效的问题, 最有效的方法是为用户提供明确的格式方面的示例指引。

用户不应该仅仅得到"输出JSON"这样的一句简单提示, 而是应该获得一个完整的、具体的JSON格式示例, 这个示例中需要清楚地包含各个字段的名称、相应字段的数据类型以及复杂嵌套结构的具体情况, 以此来帮助实现格式上的规范与控制。

要是输出的格式弄得太复杂, 我就觉得还是得用个叫做"骨架配合填充"的办法会更好一些, 也就是说, 咱们就先摆出一个还没填东西的json格式的空白架子子出来, 然后, 就让那个模型只负责去把里面该填的内容给填进去就好了, 它是不需要再去管这个整体的结构该怎么定什么样的, 这么做的话, 就能让最后出来的格式符合规矩的这个成功率大大的提高上去。

此外, 务必要纳入"禁止性指挥"这一要素, 即不得在应答中呈现任何阐释说明性质的内容、不得应用代码板块、绝不允许于JSON结构的前后部位附加各类形式的额外文本信息。

3.到达第七个阶段, 需要对验证环节进行迭代的处理工作, 并且着手创建回归测试的集合数据。

在进行修改操作之后, 你不能够仅仅通过查看一次的运行结果来结束工作。此时你需要建立一个回归测试集。具体的做法是用同一批测试输入数据去分别运行经过修改前后的两种不同版本的提示词。接着对比这两者所产生的输出质量, 以此来判断改进的效果。

具体实施的操作步骤在于事前去筹备出10个到20个测试用例, 这些用例的作用是为了把正常情况、边界情况还有异常情况都完全覆盖在内, 每一次对提示词进行的修改动作结束之后, 都需要立即去重新执行一遍事先准备好的测试集内容, 目的就是为了能够保证此次修改行为绝对不会给系统带来任何额外的、未曾预见的问题。

这个习惯从外观上面看, 好像是显得比较繁琐的麻烦事, 可是放在工程化的应用场景里面去进行考量就会发现这一种做法是绝对不可或缺的必需步骤。

我身边亲眼目睹以及经历过太多的实际案例, 这些案例清晰地表明许多人在试图解决某个单一问题的过程中, 却无意间导致了两个全新的错误问题的产生。一旦我们具备了专门针对回归测试所设计的数据集合, 上述这类负面情况所产生的隐患就能够被非常及时地捕捉到并且发现开来。

  1. 存在三个工程模板,它们是你可以直接拿过来使用的话术框架结构。

在前面已经讲过了方法论的内容, 接下来这一节中会提供三个可以直接套用的模板。这三个模板分别是用来对应最常见的三种场景的, 这三种场景包括内容生成、结构化输出以及多轮迭代。

4.这是第一种模板, 它属于内容生成类型的提示词骨架结构。

这个模板它适用于写文章, 也适用于写文案, 还可以用于生成一些描述方面的内容等开放式的创作任务。

text 复制代码
# 角色

你是一位[具体领域]的资深[具体职位],有[X]年从业经验,擅长[具体技能]。

# 任务

请[具体动作],主题是[具体主题],用于[具体场景]。

# 约束

硬约束(必须满足):

1. [约束1]

2. [约束2]

3. [约束3]

软约束(尽量满足):

1. [约束1]

2. [约束2]

# 输出格式

[给出具体的格式示例,包括段落结构、标题层级、字数范围]

# 参考示例

输入:[示例输入]

输出:[示例输出]

这个模板的关键之处就在于此: 角色方面的设定必须具体到明确的领域, 还要具体到职位, 任务方面的要求必须具体到实际的动作, 也要具体到的场景, 约束条件需要分组, 格式方面要提供示例。

根据我的实测情况来看, 依据此模板写成的提示词, 所得出的输出质量的稳定性水平, 比那些随手编写的提示词高出至少一个档次来。

4.第二个部分是关于模板二的描述, 这个模板主要用来设计一种偏向于结构化输出的提示词框架或骨架结构。

这个模板的适用范围涵盖了那些需要输出包括JSON格式在内的, 以及表格形式和列表方式等等这些具备结构化特征的数据的场景。

text 复制代码
# 任务

请从以下输入中提取信息,并按照指定格式输出。

# 输入

[待处理的内容]

# 输出格式

请严格按照以下JSON结构输出,不要添加任何额外字段:

{

"field1": "字段1的说明",

"field2": "字段2的说明",

"field3": {

"subfield1": "子字段1的说明",

"subfield2": "子字段2的说明"

}

}

# 输出要求

1. 只输出JSON,不要输出任何解释文字

2. 不要使用markdown代码块包裹

3. 如果某个字段无法从输入中提取,值设为null

4. 确保JSON可以被标准解析器解析

# 示例

输入:[示例输入]

输出:[示例输出]

这个模板的核心要点在于要给出完整的JSON骨架, 而不只是仅仅去描述各个字段, 因为骨架本身越完整, 其格式达到合规标准的概率就越高, 同时那些禁止性的指令必须被表述得非常清楚和明确, 完全不用担心这样的表达会显得过于啰嗦。

4.这是第三种模板, 它被称为多轮迭代型的提示词骨架。

这个模板是适用于那些需要你进行好几轮对话来一点点把作品搞好的情况, 举几个例子啊, 比如你要写一篇很长的文章, 或者是你正在设计一个很复杂方案, 都需要用到这种模板的。

text 复制代码
# 项目背景

[描述项目的整体目标和背景]

# 当前阶段

我们正在进行第[X]轮迭代,本轮的目标是[具体目标]。

# 已完成内容

[描述之前几轮的产出和已达成的共识]

# 本轮任务

请[具体动作],注意:

1. 只修改[具体范围],不要改动其他部分

2. 保持[具体风格/格式]不变

3. 如果需要调整其他部分,请先说明原因,等我确认后再改

# 输出格式

[给出本轮的输出格式要求]

这个模板的关键点在于, 需要进行重申项目背景和当前阶段这样的工作, 并且需要在每一轮中重复进行这一动作, 目的是防止模型在长对话中丢失上下文, 这一点要特别注意。另外, 像"只修改XX, 不要改动其他部分"这样具体的约束条款也非常重要, 它能够有效防止语义漂移的情况出现。

我个人的使用习惯是, 每进行三轮对话之后就重新输入一遍完整的项目背景还有约束条件, 这相当于给模型来一次刷新上下文的动作, 虽然这样做会显得比较麻烦, 但是能够非常显著地降低发生漂移的概率。

  1. 这个实际的作战案例展示了一段完全的经历, 它涵盖了从出现失败的事故直到最终把它给修复好的每一个环节。

只单纯地阐述那些方法论是完全不够的, 所以我接下来就要拿出一个真实存在过的具体案例, 带着你把它整个一整套完整的流程全部都实实在在地走过去一遍。

5.1 原始提示词与翻车现场

任务背景是: 需要让AI生成一系列专门用于文生图模型的英文提示词, 这些画面的核心主题是"一只鹈鹕正在骑自行车", 并且整体视觉风格要呈现出动画的质感。

原本的提示词就是这样的。

请你去生成一句用于画面创作的提示文字吧, 这个提示词是关于鹈鹕骑着自行车这个内容的, 风格必须要选定为那种动画类的表现方式, 并且要求最终呈现出来的视觉图像一定要非常的好看。

跑5次的结果:

在5次尝试当中, 只有1次是勉强能够达到可用标准的, 整体的失效率高达80%。

5.2 失效诊断与修复过程

我依据那五种具体的失效模式进行了比对分析, 认为这条提示词目前同时存在三个问题。

修复后的提示词:

text 复制代码
# 角色

你是一位资深的AI绘画提示词工程师,熟悉主流文生图模型的提示词编写规范。

# 任务

请为"鹈鹕骑自行车"这个主题生成一条用于文生图模型的英文提示词。

# 约束

硬约束:

1. 输出必须是纯英文

2. 必须包含主体描述、动作描述、环境描述、风格描述四个部分

3. 风格指定为"2D animation style, cel shading"

4. 总长度控制在50到80个单词之间

软约束:

1. 尽量包含光影和色彩的描述

2. 尽量使用具体的视觉词汇,避免抽象表达

# 输出格式

直接输出提示词文本,不要添加任何解释、标题或标点以外的符号。

# 示例

输入:猫在弹钢琴

输出:A fluffy orange tabby cat sitting at a grand piano, paws pressing keys, warm stage lighting, concert hall background, 2D animation style, cel shading, vibrant colors, dynamic composition

在修复工作完成以后, 接着进行了五次的运行测试, 这五次的测试结果全部都是符合各项要求的, 其中格式方面的合规率达到百分之百。

5.3 修复前后的关键差异

通过把修复之前的提示词, 和修复之后的提示词放在一起进行对比来看, 核心方面的差异一共包含了四点这样的内容。

首先, 要明确输出的用途。"用于文生图模型的英文提示词"这句话所包含的信息, 直接决定了最终输出内容的语言种类、格式样式以及组织方式。

第二点是给出了比较具体的风格锚点, "2D style,cel"这个词组, 它的精确度比"动画风格"这种说法要高得多, 这样的话模型就不需要去猜了。

第三, 规定了输出结构, 主体描述、动作 、环境描述、风格描述这四个部分, 让模型知道该写什么, 按什么顺序写。

<4>, 提供了参考示例。示例是最强的锚点。它让模型直接看到合格的输出长什么样。。

关于这个案例所体现的修复思路, 我们是可以将其应用到绝大多数的内容生成型任务当中的, 毕竟这种核心逻辑就是要把模糊的状态变成具体的状态,把隐性的东西转化为显性的东西, 把原本开放的状态转变为约束的状态。

  1. 那些并没有被明确告知, 但是对于实际操作来说却是十分重要的心得。

先把方法论还有模板这部分内容都讲明白了, 接着呢, 我再给大家伙儿分享几条小建议。这些小建议是我自己在做事情的时候, 慢慢摸出来的门道, 是经验之谈。在那些平常大家会看到的、标准的文件文档里头, 通常是不会写到这些东西的。

6.在输入提示词的时候, 需要知道这样一个事实, 那它的长度并不是无限度地增加才更有益处。

很多人觉得提示词写得越长越详细越好其实不是, 我做过测试, 同一条提示词里精简(二零二字)和详细版(八百字)的输出质量差异很小, 但是详细版的响应速度明显更慢, 而且更容易出现顾此失彼的情况。

依我个人的经验来看, 你需要注意的一个点在于, 提示词的长度必须要跟任务的复杂程度保持相称才对。当任务比较简单的时候, 你就应该使用比较短的提示词来处理。

而当任务比较复杂的时候, 那么就必须使用比较长的一段提示词来进行指引了。千万不要抱着为了稳妥起见或者说保险一些的心态, 就在那里无意义地把各种跟当前毫无关系的信息胡乱堆砌在一起。

6.第二点, 标点符号还有换行这种东西, 会直接影响到模型的理解。

大家很少会注意到这个细节, 可是经过实际测试发现它是有效的, 通过添加换行和空行把不同部分的信息块分割开来, 这样做就比仅仅用逗号或者是分号把它们连成一个大长句要好得多了, 要知道模型在处理结构化文本时的理解能力, 确实是远远超过它在面对连续无格式文本时候的理解水平的。

另外, 冒号和破---下划线的信号词。任务后面的内容。模型会重点对待;注意------后面的内容。模型会当作重要提示。善用这些符号。能提升提示词的信息传达效率。

6.在使用同一个提示语的时候, 我们会发现它在各种不同的模型上面所展示出来的效果差距是非常大的。

这一点必须予以强调, 我在A模型上面已经调试完毕的提示词, 直接拿来在B模型上使用的结果有可能是很糟糕的, 出现这种状况的原因在于不同模型的训练数据是不一样的, 而且它们采用的对齐策略也是不相同的, 此外它们的注意力机制也会存在着区别。

所以, 提示词是需要去针对具体的模型来做一些优化的。如果你要切换模型的话, 建议你重新去跑一遍回归测试集, 看一下哪些约束条件是需要调整的。不要指望有一条提示词能在所有模型上都能表现得完美无缺。

6.建立属于自己的提示词库, 这比每次都需要重新撰写要高效得多。

我目前手里拥有一个属于我自己的提示词库, 这个库是按照具体的应用场景来进行分类管理的, 其中涵盖了内容生成、结构化输出、代码辅助、数据分析以及多轮对话这五个主要的类别, 并且在每一个具体的分类下面, 还存放着若干已经通过验证的常用模板, 等到需要使用这些资源的时候, 用户只需要直接对相关的参数内容进行修改操作即可。

这个习惯帮我节省了大量的时间。并且, 每一次遇到新的失效模式的时候, 我都是会把修复的方案补充到对应的模板里面的。提示词库是会越用越好用的。

6.第5点要注意, 其实大家不需要去死磕那个叫完美的提示词, 而是应该把心思放在去寻找和构建一个可以不断去修改和完善的那些提示词上面。

最后一条心得是, 世上不存在一劳永逸的完美提示词, 因为技术模型在不断更新, 而你的具体需求也在随之发生变动, 所以你必须对提示词进行持续的迭代和完善。

你与其花费大量的时间, 去精心打磨出一条所谓的完美提示词, 不如建立一套可以快速迭代的流程。具体来说, 就是要先写出初版, 然后拿去跑测试, 接着定位为存在的问题之后进行针对性修改, 最后再进行再次测试。等这个流程被你顺熟之后呢, 那么你在面对全新的任何任务时, 都能够非常快地掌握要点并且顺利上手。

在实际操作过程当中, 大家不难发现, 一条提示词想要从最初的草稿版本转变为能够稳定使用的版本, 这中间往往需要经历3次到5次的反复修改和迭代。

第一轮修改主要集中精力解决大方向层面的问题;第二轮修改专门聚焦于调整格式规范;第三轮则进一步深挖并处理细节之处的问题;而余下的两轮修改工作, 主要用于进行整体微调以及应对那些边界条件下的特殊情况。一旦将这种预期的过程在心中建立起来,面对第一版效果不够理想的情况时, 你就完全不必感到沮丧或情绪低落。

提示词工程说白了, 它就是一种跟别人沟通的方式。你其实是在和一个新入行的人交流, 这个人虽然脑子好使,懂得多, 学习能力很强, 但是他不了解你的事情, 没有任何关于你的背景知识。

只要你肯把话说明白, 清楚地说出来, 不把任务糊弄过去, 把需要怎么做的要求讲得清清楚楚, 再给出几个做对了的例子给他看, 这么一大半的问题基本上都能得到解决。至于剩下的那些小毛病,没有别的捷径, 只能靠自己去多动手试一试, 多折腾, 慢慢地把自己做事的经验给攒起来。

相关推荐
2601_9679873716 小时前
AI加速波:大模型应用开发主要做哪些工作?
rag·提示词工程·agent开发·ai大模型应用开发·服务封装
zc.z20 小时前
提示词工程一:Prompt基本原理
提示词工程·上下文窗口·prompt基本原理
可乐ea6 天前
智能体记忆该拆成几层:笔记、记忆表示与注入上下文
服务器·数据库·笔记·ai智能体·提示词工程·上下文工程·记忆系统
J-JunLiang7 天前
提示词修炼手册-14-你的提示词工具箱
提示词工程·agent prompt·agent提问·提示词修炼手册
J-JunLiang13 天前
提示词修炼手册-10-从聊天到委派
提示词工程·ai应用·agent prompt·agent提问·提示词修炼手册
J-JunLiang14 天前
提示词修炼手册-09-长文档不丢记忆
提示词工程·ai应用·agent prompt·agent提问·提示词修炼手册
J-JunLiang19 天前
提示词修炼手册-04-让AI先想后说
人工智能·提示词工程·agent prompt·agent提问·提示词修炼手册
夜郎king22 天前
CodeBuddy × 硅基流动:PaddleOCR-VL 提示词调优、体验打磨与生产化改造(下篇)
提示词工程·硅基流动·codebuddy·paddleocr-vl
一级新生25 天前
提示词工程:跟 AI 打交道的手艺
人工智能·大模型·dify·1024程序员节·提示词工程