大模型面试题:有以下哪些方式可以在 prompt 中插入指令？

我整理好的1000+面试题，请看
大模型面试题总结-CSDN博客

或者

https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md

最好将URL复制到浏览器中打开，不然可能无法直接打开

---

好了，我们今天针对上面的问题，

有以下哪些方式可以在 prompt 中插入指令？

有以下几种方式可以在 prompt 中插入指令：

1. 正向模式（Forward Mode）：

   • 方法：将指令放在提示（prompt）的末尾，让模型从左到右生成文本，直到生成指令。

   • 特点：这种方法适用于大多数预训练的 LLM，因为它们通常是从左到右生成文本的。

   • 应用场景：适用于指令出现在段落开头的任务，但需要根据任务自定义设计提示。

     

2. 反向模式（Reverse Mode）：

   • 方法：利用具备填空能力的 LLM，将指令插入到文本的任意位置。通过填空的方式，模型可以直接从目标分布中采样。

   • 特点：这种方法更加灵活，允许指令出现在文本中的任意位置，而不仅仅是末尾。

   • 应用场景：适用于需要指令出现在文本中间或开头的任务，例如 TruthfulQA 等需要更灵活指令插入的任务。

     

3. 定制提示（Customized Prompts）：

   • 方法：根据具体任务和评分函数的不同，设计更合适的提示方式。例如，可以从人类设计的指令出发，请求模型生成符合缺失上下文的初始指令样本。

   • 特点：这种方法可以根据任务需求进行高度定制化，以达到更好的生成效果。

   • 应用场景：适用于需要高度定制化提示的任务，例如 TruthfulQA 等需要精确控制指令生成的任务。

     

总结来说，指令可以在 prompt 中插入的方式包括：

1. 放在提示的末尾（正向模式）。

2. 插入到文本的任意位置（反向模式）。

3. 根据任务需求设计定制化的提示（定制提示）。