Text2sql的一些技巧

最近看到了一篇关于text2sql的文章,以及一些论文。对使用模型做text2sql给了一些不错的建议。

参考文章:24年大模型潜力方向:大浪淘沙后的Text-to-SQL和Agent - 知乎

论文:https://arxiv.org/pdf/2403.09732.pdf

关于模型的建议

模型的温度为0,减少text2sql的幻觉问题。

多个模型一起使用,使用交叉一致性,不要过于依赖一个模型。

构建prompt的建议

表中字段取值问题,例如性别这个字段,有的表可能存"男"和"女",有的表可能存 "M"和"F",甚至有的表会存"0"和"1"。所以对于有枚举值的字段来说,最好能够列出来示例字段。数据表和样例数据(随机取三行数据)

text2sql中,few-shot非常有用。应该生成一些常见的sql示例。这些案例在prompt中应该是动态选择的(针对不同的表)。关于生成常见的sql,可以考虑使用模型,来生成一些sql示例。

few-shot 示例

告诉模型,我们的表字段,并给出了一些示例数据以及表的外键

给模型的few-shot 对生成正确的sql的影响非常大。论文中提到的是动态的选择样例,

根据问题相似相匹配,用问题,召回几个相似的文本(这里需要提前根据表生成一些案例)。

相关推荐
(ง •_•)ง up7 天前
深入了解Text2SQL开源项目(Chat2DB、SQL Chat 、Wren AI 、Vanna)
人工智能·sql·开源·text2sql
chencjiajy2 个月前
论文《Text2SQL is Not Enough: Unifying AI and Databases with TAG》
text2sql
刘承卓2 个月前
【text2sql】基于上下文文学习的MCS-SQL框架在Spider和BIRD取得了新SOTA
sql·语言模型·自然语言处理·chatgpt·prompt·aigc·text2sql
chencjiajy2 个月前
text2sql: multi-agent实现思路MAC-SQL
论文阅读·llm·text2sql
chencjiajy3 个月前
text2sql方法:基于ChatGPT的zero-shot方法C3
论文阅读·text2sql
洛阳泰山3 个月前
Chainlit集成LlamaIndex并使用通义千问实现和数据库交互的网页对话应用(text2sql)
数据库·python·交互·text2sql·llamaindex·chainlit
chencjiajy3 个月前
text2sql方法:RESDSQL和DAIL-SQL
论文阅读·llm·text2sql
shengjk15 个月前
解开基于大模型的Text2SQL的神秘面纱
大数据·开发语言·数据库·人工智能·aigc·text2sql·nl2sql
yubinCloud6 个月前
【Text2SQL 论文】MCS-SQL:利用多样 prompts + 多项选择来做 Text2SQL
数据库·语言模型·自然语言处理·prompt·text2sql
yubinCloud6 个月前
【Text2SQL 论文】CHESS:利用上下文来合成 SQL 的 pipeline
数据库·人工智能·深度学习·语言模型·自然语言处理·text2sql