【Text2SQL】当前在BIRD基准测试集上取得SOTA的论文

论文《The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models》探讨了在大型语言模型(LLMs)时代,文本到SQL(Text-to-SQL)转换中模式链接(Schema Linking)的作用和重要性。论文没有提出其他新的方法,而是提出了一个观点,即随着语言模型的发展,模式链接在文本到SQL任务中的重要性可能会降低,尤其是在模型的上下文窗口足够大以容纳整个模式时。作者通过3个实验验证了这一观点,并提出了一种不依赖模式链接的文本到SQL管道,该管道在准确性上取得了优异的成绩,在BIRD基准测试中排名第一,准确率达到71.83%。

摘要

目的 :模式链接是文本到SQL流程中的关键步骤,目的是检索目标数据库的表格和列,同时忽略不相关的部分。
问题 :不完美的模式链接可能会排除生成准确查询所需的列。
研究发现 :使用最新的大型语言模型时,即使存在大量不相关的模式元素,新模型也能在生成过程中利用相关的模式元素。
方法 :作者提出了一种完全省去模式链接的文本到SQL管道,以最小化过滤所需模式元素的问题。
结果:该方法在BIRD基准测试中排名第一,准确率达到71.83%。

实验

实验设计

实验1 :评估了不相关模式元素的包含对SQL生成的影响。作者创建了一个完美模式链接召回的场景,以确保SQL生成问题不是由于缺少所需列造成的。
实验2 :评估了实际模式链接技术对所需列的召回率的影响,以及召回率不完美对生成的下游影响。
实验3 :评估了在简化管道中加入增强、选择和校正技术对SQL生成准确性的影响。
实验3的方法:

1.增强(Augmentation):通过扩展列描述、添加查询提示和使用链式思考(Chain-of-Thought, CoT)规划来增加上下文信息。

2.校正(Correction):生成候选SQL查询后,基于数据库执行错误、数据库管理员指令和模型反馈进行迭代更正。

3.选择(Selection):使用自洽性(self-consistency)生成多个响应,并选择最一致的结果。

实验细节

实验设置 :所有实验中的温度都设置为零,并且尽可能使用结构化输出。
微调GPT-4o :迭代进行微调。在每次迭代中,首先在N个三元组样本上进行微调:自然语言查询、SQL查询和模式元素。然后,在BIRD的开发集上进行评估。
生成提示 :图2显示了用于SQL生成的提示结构以及示例模式、输入查询和查询提示。

实验结果

实验1 :发现随着假阳性率的降低,理想化执行准确性(IEX)提高,即包含不相关信息的列越少,SQL生成的准确性越高。
实验2 :发现随着模型的SQL生成能力提高,模式链接的好处减少。在某些情况下,由于缺少生成所需的列,模式链接甚至可能导致准确性的净降低。
实验3:发现增强、选择和校正技术对生成准确性有显著的正面影响,而模式链接则没有。

相关推荐
PaperRed ai写作降重助手1 小时前
智能写作ai论文生成软件推荐
人工智能·aigc·ai写作·智能降重·paperred
IT·小灰灰2 小时前
30行PHP,利用硅基流动API,网页客服瞬间上线
开发语言·人工智能·aigc·php
2501_948120153 小时前
基于量化感知训练的大语言模型压缩方法
人工智能·语言模型·自然语言处理
MARS_AI_3 小时前
大模型赋能客户沟通,云蝠大模型呼叫实现问题解决全链路闭环
人工智能·自然语言处理·信息与通信·agi
名为沙丁鱼的猫7294 小时前
【MCP 协议层(Protocol layer)详解】:深入分析MCP Python SDK中协议层的实现机制
人工智能·深度学习·神经网络·机器学习·自然语言处理·nlp
香芋Yu4 小时前
【大模型教程——第四部分:大模型应用开发】第1章:提示工程与上下文学习 (Prompt Engineering & ICL)
学习·prompt
阿杰学AI7 小时前
AI核心知识75——大语言模型之MAS (简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·agent·多智能体协作·mas
小程故事多_807 小时前
深度搜索Agent架构全解析:从入门到进阶,解锁复杂问题求解密码
人工智能·架构·aigc
PaperRed ai写作降重助手7 小时前
如何选择适合自己的AI智能降重写作软件
人工智能·深度学习·aigc·ai写作·论文降重·论文查重·智能降重
shangjian00711 小时前
AI-大语言模型LLM-概念术语-Dropout
人工智能·语言模型·自然语言处理