论文笔记:SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data

导语

本文提出了SQLPrompt,通过创新的Prompt设计、基于执行一致性的解码策略,以及混合不同格式的Prompt和不同LLMs输出的方式,提高了LLM在Few-shot In-context Learning下的能力。

1 简介

这项研究介绍了"SQLPrompt",一种针对大型语言模型(LLMs)中的Text-to-SQL任务进行少标签数据下的上下文提示的方法。SQLPrompt通过创新的提示设计、基于执行一致性的解码策略(选择最一致的执行结果SQL),以及"MixPrompt"和"MixLLMs"方法(增加不同提示设计和基础模型中SQL提议的多样性)来提高少示例提示的能力。结果表明,SQLPrompt在少标签数据的上下文学习中表现优异,与使用数千标签数据进行微调的最新技术相比,缩小了差距。

2 方法

作者实际上提出了4个小的模块,构成了SQLPrompt,分别为:

  • Prompt设计:Prompt中包括数据库schema、主/外键和数据库内容。本文给出了两种不同的Prompt格式,分别为
    • Concise promptsTable1 name: column name 1, column name 2 (relevant database content) | Table2 name: column1 ...
    • Verbose promptsTable "CarNames" contains three columns. The column names and their types are : MakeID (number), Model (string) ..."; "Foreign keys are ... Use foreign keys to join Tables
  • Execution-based consistency decoding:基于执行一致性的解码策略实际上就是对LLM进行多次采样生成,然后对生成的SQL语句进行执行,选择执行结果最一致的那个SQL;
  • MixPrompt:将不同的Prompt格式进行混合作为Few-shot的示例;
  • MixLLMs:将输入分别输入给不同的LLM进行生成采样;

从作者给出的这个流程图中可以很清楚的看到这4个模块。

3 实验

  • 任务和数据集:考虑Spider跨领域大规模Text-to-SQL基准测试。
  • 模型:包括不同版本的PaLM和FLAN模型。
  • 微调模型:包括PICARD、RASAT和RESDSQL等。
  • 上下文学习模型:包括对CodeX、GPT-3和ChatGPT的评估。

4 结果

  • 性能比较:SQLPrompt在上下文学习和微调方法中表现优异,特别是在执行准确度(EX)和测试准确度(TS)方面。
  • 消融研究 :研究了SQLPrompt的多个组件各自对于最终结果的影响,包括
    • 提示设计、
    • 基于执行的一致性解码、
    • MixPrompt和
    • MixLLMs。

从表格2-5可以看到,作者提出的这四个模块都对最终的SQLPrompt方法有提升。

5 结论

SQLPrompt通过创新的提示设计和一致性解码策略,显著提高了Text-to-SQL任务的性能。其在处理少量标签数据时的能力尤其突出,为Text-to-SQL领域提供了一个有力的新工具。

相关推荐
DolphinScheduler社区1 分钟前
白鲸开源与亚马逊云科技携手推动AI-Ready数据架构创新
人工智能·科技·开源·aws·白鲸开源·whalestudio
欣然~30 分钟前
借助 OpenCV 和 PyTorch 库,利用卷积神经网络提取图像边缘特征
人工智能·计算机视觉
谦行39 分钟前
工欲善其事,必先利其器—— PyTorch 深度学习基础操作
pytorch·深度学习·ai编程
xwz小王子1 小时前
Nature Communications 面向形状可编程磁性软材料的数据驱动设计方法—基于随机设计探索与神经网络的协同优化框架
深度学习
白熊1881 小时前
【计算机视觉】CV实战项目 - 基于YOLOv5的人脸检测与关键点定位系统深度解析
人工智能·yolo·计算机视觉
nenchoumi31191 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
后端小肥肠1 小时前
文案号搞钱潜规则:日入四位数的Coze工作流我跑通了
人工智能·coze
LCHub低代码社区1 小时前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
-曾牛1 小时前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
阿川20152 小时前
云智融合普惠大模型AI,政务服务重构数智化路径
人工智能·华为云·政务·deepseek