text2sql

正在走向自律

Text2Sql：开启自然语言与数据库交互新时代（30/30）在当今数字化时代，数据处理和分析的需求日益增长。对于众多非技术专业人员而言，数据库操作的复杂性常常成为他们获取所需信息的障碍。而 Text2Sql 技术的出现，为这一问题提供了有效的解决方案。

大模型之路

Table-Augmented Generation（TAG）：Text2SQL与RAG的升级与超越当下AI与数据库的融合已成为推动数据管理和分析领域发展的重要力量。传统的数据库查询方式，如结构化查询语言（SQL），要求用户具备专业的数据库知识，这无疑限制了非专业人士对数据的访问和利用。为了打破这一壁垒，AI驱动的数据库查询方法应运而生，其中Text2SQL和检索增强生成（RAG）（微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析）是两种具有代表性的技术。然而，这两种方法在实际应用中均存在局限性，促使研究人员探索更为强大和灵活的框架。今天我们一起了解

大模型时代的NL2SQL初探在当今信息化时代，数据库已成为各行各业的数据存储核心。然而，直接使用SQL（结构化查询语言）进行数据库查询，对许多缺乏专业技术背景的用户而言存在一定门槛。为此，NL2SQL（Natural Language to SQL）技术应运而生，旨在将自然语言转换为SQL查询，使用户能够以自然语言与数据库交互。

(ง •_•)ง up

深入了解Text2SQL开源项目（Chat2DB、SQL Chat 、Wren AI 、Vanna）在数据驱动决策的时代，将自然语言查询转化为结构化查询语言（SQL）的能力变得日益重要。无论是小型创业公司还是大型企业，都希望能够更轻松地从海量的数据中挖掘出有价值的见解。然而，对于那些不熟悉SQL或者数据库架构的用户来说，直接编写复杂的查询语句往往是一个巨大的挑战。正是为了解决这一问题，Text2SQL技术应运而生，它允许用户通过简单的自然语言描述来获取他们所需的数据库信息。

论文《Text2SQL is Not Enough: Unifying AI and Databases with TAG》TAG出自2024年8月的论文《Text2SQL is Not Enough: Unifying AI and Databases with TAG》(github)，它是一种结合了text2sql和RAG的用LLM来回答基于数据库的自然语言问题。

【text2sql】基于上下文文学习的MCS-SQL框架在Spider和BIRD取得了新SOTA论文标题 “MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation” ，发表于2024.5的arXiv。

text2sql: multi-agent实现思路MAC-SQLMAC-SQL出自2023年12月的论文《MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL》(github)，它是用基于LLM的multi-agent来实现text2sql。

text2sql方法：基于ChatGPT的zero-shot方法C3ChatGPT SQL出自2023年3月的论文《A comprehensive evaluation of ChatGPT’s zero-shot Text-to-SQL capability》(github)，这篇论文分析了ChatGPT的text2sql能力，实验结果表明ChatGPT的text2sql能力令人印象深刻，虽然没有达到当时的SOTA，但是无需训练性能也比SOTA低14%，且ChatGPT的鲁棒性与SOTA相比只有7.8%的差距。

Chainlit集成LlamaIndex并使用通义千问实现和数据库交互的网页对话应用（text2sql）我在之前的几篇文章中写了如何使用Chainlit集成Langchain并使用通义千问实现和数据库交互的网页对话应用，但是发现Langchain的几种和数据库交互的组件都不够让我满意，虽然已经满足了大部分场景的需求，但是问题还是很多，比如问题和数据库好不相关的时候，程序生成错误的sql,导致报错，sql智能体交互响应太慢等等，最近使用了LlamaIndex中的sql交互组件NLSQLTableQueryEngine，发现YYDS。就是我一直寻找的东西。既满足了响应速度又足够智能不会报错，下面教大家如何使用C

text2sql方法：RESDSQL和DAIL-SQL之前介绍了text2sql的综述，但是对一些方法的描述不够详细，所以将一些感兴趣的方法思路也整理一下。

解开基于大模型的Text2SQL的神秘面纱你好，我是 shengjk1，多年大厂经验，努力构建通俗易懂的、好玩的编程语言教程。欢迎关注！你会有如下收益：

【Text2SQL 论文】MCS-SQL：利用多样 prompts + 多项选择来做 Text2SQL论文：MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation

【Text2SQL 论文】CHESS：利用上下文来合成 SQL 的 pipeline本文提出了一个 pipeline 框架——CHESS——来解决应用于复杂的真实数据库场景下的 Text2SQL 问题。

【Text2SQL 论文】C3：使用 ChatGPT 实现 zero-shot Text2SQL论文：C3: Zero-shot Text-to-SQL with ChatGPT⭐⭐⭐⭐arXiv:2307.07306，浙大

【Text2SQL 论文】CodeS：Text2SQL 领域的开源语言模型论文：CodeS: Towards Building Open-source Language Models for Text-to-SQL

【Text2SQL 论文】How to prompt LLMs for Text2SQL论文：How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings

【Text2SQL 论文】PET-SQL：用 Cross-Consistency 的 prompt 增强的两阶段 Text2SQL 框架论文：PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL Framework with Cross-consistency

【Text2SQL 论文】DIN-SQL：分解任务 + 自我纠正 + in-context 让 LLM 完成 Text2SQL论文：DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction

【Text2SQL 论文】DBCopilot：将 NL 查询扩展到大规模数据库论文：DBCopilot: Scaling Natural Language Querying to Massive Databases

【Text2SQL 论文】T5-SR：使用 T5 生成中间表示来得到 SQL论文：T5-SR: A Unified Seq-to-Seq Decoding Strategy for Semantic Parsing