【大模型基础_毛玉仁】3.5 Prompt相关应用

3.5 相关应用

Prompt工程应用广泛，能提升大语言模型处理基础及复杂任务的能力，在构建Agent、数据合成、Text-to-SQL转换和设计个性化GPTs等方面不可或缺。

3.5.1 基于大语言模型的Agent

智能体（Agent）是能自主感知并行动以达成目标的实体，作为实现通用人工智能（AGI）的有力手段，被期望在多样化环境中完成复杂任务并展现类人智能。

传统Agent依赖简单启发式策略函数，在受限环境中学习操作，难以复制人类决策过程，限制了其能力与应用范围。基于大语言模型的Agent展现出强大决策能力，拥有全面通用知识，即便缺乏训练数据，也能进行规划、决策、工具调用等复杂行动。

Prompt工程在Agent中至关重要。Agent系统以大语言模型为核心控制器，依赖Prompt完成规划、决策、行动等操作。其框架包括：配置模块（Profile）、记忆模块（Memory）、计划模块（Planning）和行动模块（Action），Prompt工程技术贯穿整个流程，为各模块提供支持。

图3.30: 基于大语言模型的Agent框架流程示意图

在Agent中：

配置模块：利用Prompt工程的角色扮演技术定义Agent角色，将其背景、技能等信息嵌入交互Prompt；
记忆模块：作为存储中心，通过检索增强等技术并借助上下文学习优化查询，将获取的记忆添加到交互Prompt中辅助决策；
计划模块：借助Prompt工程的思维链和上下文学习技术，将复杂任务分解为子任务并调控粒度；
行动模块：将计划转化为行动步骤，通过工具API接口生成并执行代码以实现目标。这四个组件分工协作完成复杂任务。

3.5.2 数据合成

数据质量是决定大语言模型性能的关键因素之一，因为"Garbage in, Garbage out"，即模型表现高度依赖训练数据的质量，无论模型架构、训练算法和计算资源多么优秀。然而，获取高质量数据面临挑战：

公共领域：高质量语言数据预计2026年左右耗尽；
特定领域：垂直数据因隐私保护和标注难度等问题难以大量提供，限制了模型的进一步发展。

数据合成作为补充或替代真实数据的手段，因可控、安全、低成本等优势受关注，特别是利用大语言模型生成训练数据成为研究热点。

通过Prompt工程技术，利用大语言模型的思维和指令跟随能力合成高质量数据，Self-Instruct是代表性方法。它通过构建Prompt，多步骤调用大语言模型，依据少量指令数据合成大量多样化指令数据。

如金融场景中，先人工标注少量金融指令数据，再用Self-Instruct方法调用大语言模型，将数据扩展至数万条且保持高质量和多样性。

图3.31: Self-Instruct 流程示例图

Self-Instruct 包含构建任务池、指令生成、指令分类、数据生成、数据过滤五个步骤。

任务池：存储初始及后续生成的指令数据；
指令生成：参考任务池样例生成指令部分；
指令分类：将指令分为分类任务和生成任务，不同模式下生成数据方式不同；
数据生成：根据已有指令生成输入和回答部分；
数据过滤：去除低质量数据，保证指令数据质量。

它从有限的手动编写任务种子集开始，通过与大语言模型交互，不断生成指令数据，扩充原始数据集。

3.5.3 Text-to-SQL

Text-to-SQL：将自然语言查询翻译成可执行SQL语句。

C3是最早使用大语言模型进行零样本Text-to-SQL的方法，其核心是Prompt工程设计，包括三个关键部分：清晰提示 （ClearPrompting）、提示校准 （Calibration with Hints）和一致输出（Consistent Output）。

图3.33: C3 方法整体框架图

在模型输入端，清晰提示包含：

清晰布局：通过明确符号划分指令、上下文和问题，提升模型理解能力；
清晰上下文：设计零样本Prompt，指示模型从数据库中召回相关信息，提高SQL生成准确性。

为应对模型固有偏差，C3采用提示校准策略，利用包含历史对话的上下文提示，将先验知识纳入模型，通过设定模型为SQL专家角色并引导其遵循预设提示，有效校准偏差。

在模型输出端，C3采用输出校准，应用Self-Consistency方法对多种推理路径采样，选择最一致的答案，增强输出稳定性，保持SQL查询一致性。

3.5.4 GPTs

GPTs是OpenAI推出的支持用户自定义的GPT应用，允许用户通过编写Prompt，添加工具等方式创建定制版的GPT应用，也可以使用别人分享的GPTs模型。

其他参考：【大模型基础_毛玉仁】系列文章

声明：资源可能存在第三方来源，若有侵权请联系删除！