V0.7.4 版本主要新增、增强了以下核心特性
🍀 DB-GPT开源蚂蚁集团Text2SQL数据集：Falcon（https://github.com/eosphoros-ai/Falcon）
🍀 DB-GPT支持基于Falcon Text2SQL评测集的LLM评测功能
🍀支持GLM-4.5大模型
🍀 支持**BurnCloud API大模型平台集成**
✨数据集评测新特性
面向Text2SQL任务，我们提供了数据集评测能力，用于评测不同大模型、Agent在Text2SQL任务上的表现，评测语法正确性、语义准确性、执行有效性等维度内容，输出可执行率、正确率等指标，并提供了评测报告。
介绍
https://github.com/eosphoros-ai/Falcon
为了客观、公正地评估不同模型在Text2SQL任务的表现，我们推出了评测模块和评测数据集，该模块支持对DB-GPT框架下的所有模型进行全面评测，并为用户提供评测报告。
评测模块使用的Benchmark数据集：Falcon 是蚂蚁集团 开源的一个不断发展的高质量Text2SQL数据集。
该数据集旨在对复杂、跨域分析场景下的模型进行压力测试，特别关注以下方面：
- SQL 计算难题------多表连接、嵌套 CTE、窗口函数、排名、类型转换、正则表达式过滤器......
- 语言困难------中文模糊时间表达、口语化商业术语、省略号、多意图疑问句......
评测集包含了28个数据集、90张表，截止当前发已正式发布500道不同难度的中文题目
其中，easy难度题目：151道，medium难度题目：130道，hard难度题目：219道
核心特性
- ✅ 多维度评测：包含语法正确性、语义准确性、执行有效性三重验证体系
- 🧠 动态难度分级：来自 Kaggle 数据集的 500 道中文问题（不同难度），包含大量需要多步推理、复杂嵌套查询和高级 SQL 特性
- ✍️ 细致的 Schema 标注: 提供了丰富的 Schema 信息，包括数据类型和自然语言别名、表间关系、采样数据，为模型理解数据库结构提供了有力支持
- 🌐 真实场景建模：更多有关模糊/含糊语言表达、更多从蚂蚁集团真实生产场景中收集的问题（准备中）
评测指标
|------|----------------|--------------------------------|
| 指标名称 | 计算公式 | 说明 |
| 可执行率 | 语法正确样本数 / 总样本数 | 模型生成的SQL语句语法正确、且可以在数据库中正确执行的比例 |
| 正确率 | 语义正确样本数 / 总样本数 | 大模型生成的SQL语句语法正确、语义正确的比例 |
评测模块核心能力如下：
- Text2SQL 评测API：提供API创建评测任务
- 评测集执行框架：根据评测集的问题执行Text2SQL任务
- 评测集结果对比框架：基于标准评测集和LLM SQL结果执行结果对比并汇总评测结果
- 评测数据集安装及数据库映射：安装评测数据集并将数据映射到数据库中提供LLM SQL查询服务
使用方式
环境准备
- 第一步：升级到V0.7.4版本，并升级元数据库
++对于 SQLite 的升级，默认会自动升级表结构++ 。++对于 MySQL 的升级，需要手动执行 DDL++ ，其中 assets/schema/dbgpt.sql文件是当前版本完整的 DDL 文件，具体版本变更的 DDL 可以查看 assets/schema/upgrade下面的变更 DDL，例如您是从 v0.7.1升级到v0.7.4，可以执行下列的 DDL：
bash
mysql -h127.0.0.1 -uroot -p{your_password} < assets/schema/upgrade/v0_7_4/upgrade_to_v0.7.4.sql- 第二步：启动DB-GPT服务，等待评测集自动加载完成，看到这行日志表示评测集加载完成（大约 ++1~3++ 分钟左右）
- 第三步：在DB-GPT平台录入大模型
创建评测任务
- Step1: 点击"创建评测"按钮，创建评测任务
- Step2: 输入任务名称、选择评测模型列表等信息
- Step3: 提交评测任务
- Step4: 等待评测任务执行完成(评测任务耗时较长)
查看评测报告
- 等待评测状态为"已完成"，点击"查看详情"按钮，查看评测报告
- 评测报告展示信息：
- 总的模型数量、题目数量、正确题目数量、错误题目数量、失败题目数量
- 每轮、每个模型的执行结果：执行题目数、正确题目数、错误题目数、失败题目数、可执行率、正确率
- 可执行率、正确率的可视化柱状图
正确题目：表示该问题模型回答正确；
错误题目：模型生成的SQL语法正确，但是语义不正确；
失败题目：一般是模型生成的SQL语法、语义都不正确
下载评测结果
- 点击"下载评测结果"按钮，下载评测的Excel详细报告
- 下载的Excel报告包含了评测任务LLM执行详情、评测对比结果等信息（通过不同Sheet展示）
数据集详情
- 点击"查看数据集详情"按钮，查看评测集详情
- 展示Falcon数据集的数据表、字段、样例数据等
详细的使用文档见：
🐞 Bug 修复
- 修复AWEL
datasource、rag算子参数不生效问题（#2862） - 处理知识库文档自定义chunk分隔符
\n不生效（#2870） - 修复知识库上传URL模式文档（#2874）
- 修复 DorisDB 使用 MySQL 协议连接的问题 (#2875)
- 修复使用TuGraph时Milvus的数据清理问题（#2858）
- 优化图数据库的配置错误信息 (#2906)
- 修复Excel文档中合并单元格解析问题 (#2907)
- 优化PGVectorStore从环境变量读取链接配置 (#2887)
- 修复ChatExcel应用Excel文件中包含
time类型的解析（#2915）
🛠️其他
- 新增泰米尔语版本
README文件 (#2914) - 新增印地语版本
README文件 (#2909) - 修复通义千问配置文件 (#2884)
- 新增
DB-GPTDeepWiki文档 (#2892)
升级指南：
- 元数据库升级
对于 SQLite 的升级，默认会自动升级表结构。对于 MySQL 的升级，需要手动执行 DDL ，其中 assets/schema/dbgpt.sql文件是当前版本完整的 DDL 文件，具体版本变更的 DDL 可以查看 assets/schema/upgrade下面的变更 DDL，例如您是从 v0.7.1升级到v0.7.4，可以执行下列的 DDL：
bash
mysql -h127.0.0.1 -uroot -p{your_password} < assets/schema/upgrade/v0_7_4/upgrade_to_v0.7.4.sql- 依赖升级
对于源码安装，建议通过 uv sync 更新依赖。
✨官方文档地址
英文
http://docs.dbgpt.site/docs/overview
中文
https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx
✨致谢
🎉新贡献者
- @yaoyifan-yyf
- @iterminatorheart
- @liuhill
- @zuiyue-com
- @wxiao1002
🔥🔥感谢所有贡献者使这次发布成为可能！
@Aries-ckt, @Mishu03, @chenliang15405, @fangyinc, @kobzevvv, @stevenlx96, @wxiao1002, @liuhill, @yaoyifan-yyf, @iterminatorheart and @zuiyue-com
