Databend 如何利用 GPT-4 进行质量保证

背景

在数据库行业，质量是核心要素。

Databend 的应用场景广泛，特别是在金融相关领域，其查询结果的准确性对用户至关重要。因此，在快速迭代的过程中，如何确保产品质量，成为我们面临的重大挑战。

随着 Databend 开源社区的快速发展，新功能的持续增加和现有功能的优化提出了新的测试挑战。我们致力于在每次代码更新中实施严格的测试，确保稳定性并防止任何潜在问题。

Databend 的测试方法

为了确保软件的稳定性和可靠性，Databend 的测试方法覆盖从代码级到系统级的各个方面。

Unit Tests

单元测试作为测试的基石，着重验证代码的基本功能和逻辑。我们在每次代码提交前自动运行单元测试，确保及时捕捉任何潜在问题。

SQL Logic Tests

Databend 引入了大量的 DuckDB、CockroachDB 和 PostgreSQL 的 SQL 逻辑测试（感谢他们）。这些测试覆盖了广泛的 SQL 场景，帮助我们发现并修复潜在问题，保障 SQL 查询的精确性。

Compatible Tests

兼容性测试确保新版本与旧版本的向后兼容，帮助用户平稳过渡到 Databend 的更新版本，保障业务的连续性和稳定性。

Perf Tests

Databend 使用 ClickBench hits 数据集和 TPCH-SF100 作为性能指标，通过这些测试来确保每个版本的性能都符合预期。

Longrun Tests

Longrun 测试专注于数据写入、更新和合并等操作的长期效果，通过监测 CPU 和内存的稳定性，确保 Databend 的长期运行稳定性和可靠性。

除 Longrun Tests 外，这些测试在每个 GitHub Pull Request 提交时都会执行，以保证任何更改都符合我们的质量标准。

借助 GPT-4 生成测试模型

尽管已经采用了多种测试方法，Databend 团队始终在寻求创新。近期，我们引入了 GPT-4 来进一步提升测试流程。

双缝探测模型

针对涉及核心路径的修改，我们采用双缝探测模型进行验证。这种方法通过比较当前 PR 版本与主分支（main）版本的结果集来进行验证。如果两者结果一致，则可视为无大碍。但这些验证的 SQL 语句的质量至关重要，这正是我们利用 GPT-4 生成的部分。首先，我们指导 GPT-4 根据需求推理出随机数据生成方式，如 setup.sql 所示。然后，基于这些数据，GPT-4 进一步生成用于校验的 SQL 语句，例如 check.sql。这些验证 SQL 语句可以根据不同场景进行调整。接下来，我们在这两个版本的 Databend 上运行这些 SQL 语句，以验证结果集的一致性。