SCALE：一个面向专业级任务的大语言模型 SQL 能力开源评测框架

随着大语言模型（LLM）在数据科学领域的应用日益广泛，学术界和工业界涌现出多种评测基准。然而，我们观察到，现有评测体系大多聚焦于 Text-to-SQL 的转换准确率，而这远不能全面反映模型在真实、复杂场景下的 SQL 处理能力。

为了弥补这一关键空白，我们经过深入研究，提出了 SCALE ------ 一个面向专业级任务的大语言模型 SQL 能力开源评测框架。我们致力于通过开放、透明和社区驱动的方式，建立一个行业公认的评估标准。

背景：现有 LLM-SQL 评测的局限性

近年来，大语言模型处理结构化查询语言（SQL）的能力取得了长足进步。一系列公开的评测基准（Benchmark）也应运而生，它们在很大程度上推动了模型在 Text-to-SQL 任务上的发展。

尽管如此，我们发现现有的评测体系仍存在显著的局限性。在专业的数据库管理和软件开发实践中，开发者面临的挑战远比"将一句话转为 SQL"要复杂得多：

性能是生命线：一个能返回正确结果但执行耗时数分钟的查询，在生产环境中是不可接受的。现有评测很少关注模型生成 SQL 的性能和效率。
环境是多样的：数据库迁移和跨平台适配是常见需求。但模型能否精准处理不同数据库（如 MySQL，Oracle，PostgreSQL）之间的"方言"差异，现有评测也鲜有涉及。
理解是深度的：维护、审查和重构遗留代码是开发者的日常。这要求模型不仅能"写"代码，更能深度"理解"代码的逻辑、意图和潜在风险。这一点同样是当前评测的薄弱环节。

现有评测的单一视角，使得开发者和决策者在面对真实、复杂的业务需求时，难以选择出真正合适的模型。

我们的解决方案：SCALE 评测框架

为了系统性地解决上述问题，我们设计并实现了 SCALE (SQL Capability Leaderboard for LLMs) 大模型 SQL 能力排行榜。

SCALE 并非对现有评测的简单复现，而是一个从数据库专家和资深开发者真实工作流出发，构建的全新、完全开源的评测框架。我们相信，只有 开放源代码、开放数据、开放方法，才能建立最广泛的行业信任。

评测基石：一个高质量、多层次的数据集

一个评测框架的公信力，源于其评测数据的质量与广度。为此，我们构建了一个高质量、多层次、贴近真实世界的数据集，并将其向社区完全开放。

真实世界案例：我们收集并脱敏了来自不同行业的真实查询案例。这些案例作为数据集的基础，确保了评测内容与生产环境的实际挑战保持一致。
AI 辅助的典型场景构造：为提升测试集的覆盖深度，我们针对容易引发逻辑错误或性能问题的复杂场景，如子查询、多表连接、嵌套查询、存储过程等，利用 AI 辅助构造了大量细粒度的测试用例，旨在精准评估模型在处理复杂查询时的逻辑稳健性与准确性。
评分权重设计：为区分不同任务的复杂度，我们为测试用例设置了不同的评分权重。通常，技术复杂度更高的用例会获得更高的权重。
答案验证：所有测试用例的参考答案均经过交叉验证，以确保其准确性。

三大核心评测维度

基于这一强大的数据集，SCALE 通过三个相互独立的核心维度，深入考察模型在处理高价值、高复杂度 SQL 任务时的真实水平。

⚡ SQL 优化能力 (SQL Optimization)

研究问题：模型是否具备数据库专家（DBA）的性能优化意识？
评估方法：我们为模型提供一系列典型的低性能查询，评估其能否在保证逻辑等价的前提下，改写出性能更优的版本。评测指标不仅包含语法正确性，更引入了对优化规则复杂度的量化评估，以衡量其优化策略的优劣。
应用场景：当您需要进行数据库性能调优或代码重构时，此维度的评测结果将为您提供关键参考。

🔄 方言转换能力 (Dialect Conversion)

研究问题：模型能否成为一个可靠的、跨数据库平台的"代码翻译官"？
评估方法：我们评估模型在多种主流数据库"方言"之间进行转换的逻辑保真度与语法准确性，确保其转换结果是"开箱即用"且完全可靠的。
应用场景：对于面临数据库迁移、构建跨平台数据中台等挑战的团队，此维度的领先模型是首选。

📊 SQL 理解能力 (SQL Understanding)

研究问题：除了写代码，模型对 SQL 的理解有多深？
评估方法：我们从执行结果准确性、语法错误识别、执行计划分析、查询类型判断等多个角度，全面考察模型对 SQL 代码的深度分析能力。
应用场景：在进行代码审查（Code Review）、遗留系统维护、自动化代码分析等工作中，此维度的评测结果能帮您找到最"懂"SQL 的 AI 助手。

SCALE 的价值与应用

我们相信，一个严谨、贴近实践的评测框架，能为不同角色的专业人士创造价值：

对于数据与软件开发人员：提升开发效率，保障交付质量。SCALE 能帮您快速找到最称手的 AI 工具，处理优化、迁移、代码审查等专业任务，将宝贵的精力聚焦于更有创造性的工作上。
对于 AI 研究员与模型开发者：精准定位坐标，指明迭代方向。SCALE 透明的评测方法和开源的数据集，能清晰揭示您模型在专业 SQL 任务上的长处与短板，为下一阶段的优化和训练提供明确的、可量化的目标。
对于企业 CTO 与技术决策者：降低技术风险，驱动业务创新。基于 SCALE 客观、中立的数据做出技术选型，能确保您为企业引入的 AI 能力是真正可靠、高效的，从而赋能团队，构建更健壮的数据基础设施。

结论与展望

我们推出 SCALE，旨在为社区提供一个更专业、更深入、更贴近真实需求的 LLM SQL 能力评估标准。

作为一个开源项目，我们深知社区的力量是其生命力的源泉 。我们不仅发布评测结果，更开放所有评测脚本、数据集和方法论。我们诚挚地邀请您探索 SCALE 的评测结果，利用这一工具为您的研究和工作做出更精准的技术判断。更重要的是，我们欢迎您 加入我们的社区，贡献代码、提交测试用例或提出宝贵建议。

让我们一同完善 SCALE 的评测体系，共同推动大语言模型在数据库领域的应用走向新的深度。

探索 SCALE 实时排行榜 -> sql-llm-leaderboard.com/
了解评测方法与技术细节 -> github.com/actiontech/...

SCALE：为专业 SQL 任务，选专业 AI 模型。

更多技术文章，请访问：opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。