摘要:
OceanBase联合成都信息工程大学的数据库缺陷实证研究,被软件工程顶刊IEEE TKDE录用。研究聚焦复杂工作负载下数据库参数自动调优的效率与泛化能力问题,提出一种分层协作的多智能体框架,通过创新的训练机制与协同策略,有效破解传统调优方法的瓶颈,为数据库性能优化和预测提供了兼具理论创新性与工程实用性的技术方案。
近日,成都信息工程大学与 OceanBase 研发团队合作完成的研究《CMA+DB: How to Automatically Tune Database Parameters through Collaborative Multi-Agents》,被《IEEE Transactions on Knowledge and Data Engineering》(TKDE,CCF A 类、SCI 一区)录用。
研究聚焦复杂工作负载下数据库参数自动调优的效率与泛化能力问题,提出一种分层协作的多智能体框架,通过创新的训练机制与协同策略,有效破解传统调优方法的瓶颈,为数据库性能优化和预测提供了兼具理论创新性与工程实用性的技术方案。
以下为论文介绍:
研究背景与挑战
随着分布式与云计算技术的发展,数据库工作负载日趋多样化、复杂化。从高并发的在线交易场景(TPC-C),到随机读写的云服务场景(YCSB),再到高实时性的社交互动场景(Twitter),不同场景对参数配置的需求差异显著。
传统调优方式逐渐难以适配这些实际需求:人工调优高度依赖 DBA 的专业经验,不仅需要耗费大量时间梳理参数关系,而且无法应对动态变化的工作负载,往往出现 "调优即过时" 的问题;搜索式调优方法依赖启发式规则,在简单场景下表现尚可,但面对多参数交互的复杂场景时,搜索空间急剧扩大,调优效率大幅下降;贝叶斯优化方法需要手动筛选关键参数,若参数定义不全面,难以找到最优配置;现有强化学习调优方法多采用单智能体设计,仅能对参数进行粗粒度调优,无法充分挖掘不同类型参数间的深层交互影响,调优精度和泛化能力受限。
如何实现参数调优的自动化、精准化与高效化,成为数据库领域亟待解决的关键问题。
图1 数据库参数调优主要步骤
核心理论创新:CMA+DB 多智能体协作框架
CMA+DB 框架以 "分类协作、分层训练" 为核心设计理念,构建了三级递进式训练机制,整合单智能体预训练模型 SAPM、多智能体联合训练模型 MATM 与基于概率选择的联合训练模型 PJTM,既保障了单个参数类别内的调优深度,又实现了跨类别参数的协同优化。
三个子模型并非孤立存在,而是以级联方式递进工作,前一阶段的训练成果直接作为后一阶段的输入,形成 "基础专精---交互探索---精准强化" 的完整调优链路,确保框架在参数交互捕捉、调优效率与泛化能力之间实现最优平衡。
图2 CMA+DB 模型工作原理
在技术实现上,CMA+DB 基于深度确定性策略梯度(DDPG)与多智能体深度确定性策略梯度(MADDPG)构建核心算法架构,采用 Actor-Critic 网络结构实现智能体的决策与优化。每个智能体都具备独立的观测空间与动作空间,通过与数据库环境的持续交互获取反馈,不断优化参数调优策略。
图3 多智能体 Actor 和 Critic 网络结构
在第一阶段,提出单智能体预训练模型 SAPM。训练初期,每个 Agent 负责调优一类功能或参数级别相似的参数,目的是探究单个 Agent 对数据库性能的影响,进而优化其网络,使得其神经网络偏向于调节重要参数。该过程 Agent 之间相互不影响。与传统的单智能体模型相比,SAPM 模型的优点在于更深入地探究相似参数之间的关系,也更容易识别出一些重要参数。
这一阶段对于识别关键参数和实现快速收敛至关重要。通过使智能体能够初步掌握参数调整策略,SAPM 为后续更复杂的多智能体训练奠定了坚实的基础,并减少后续阶段的耦合干扰,从而提高了整体效率和效果。
在第二阶段,提出多智能体联合训练模型 MATM,在 MATM 模型训练阶段,使用组合算法将多个 Agent 的预测动作组合并映射为一组数据库的推荐配置,要求 Agent 之间不能存在相同的数据库参数。
这种协作方法不仅增加了可调参数的数量,还显著增强了模型的表现力和调整能力。此阶段虽然存在耦合,但通过联合训练,能够让智能体逐步适应彼此的行为模式,实现协同优化。
在第三阶段,提出了联合动作概选模型 PJTM,在 SAPM 和 MATM 模型训练之后进行训练,算法为每个 Agent 设置了一个概选因子 Pi, Agent 根据 Pi,随机地参与联合动作推荐。当一个 Agent 控制的数据库参数对数据库性能的提升微乎其微时,就可以根据 Pi 减小该 Agent 的动作参与,进而降低其对其它 Agent 所做动作的负面影响。这一机制有效减少了低影响智能体对整体调优过程的干扰,缓解了耦合带来的负面影响。
基于上述三种方式,提出协作型多智能体模型 CMA+DB,其整合 SAPM、MATM 和 PJTM 模型进行分阶段训练,实现分功能、分级别地对数据库参数进行调优。探究了相同类型参数之间的相互影响以及不同类型参数之间的协作关系。有效地解决了离散环境和异步反馈的挑战,确保多个智能体的动作是协调的,并针对数据库性能进行了优化,提高了数据库参数的调优数量,提升了数据库参数调优的效率。
关键验证成果
相关研究成果已在 PostgreSQL 数据库环境下,在 TPC-C、YCSB、Twitter 三种典型工作负载上,与主流调优方法进行全面对比验证,核心性能指标表现突出且稳定。
在调优效率方面,CMA+DB 的收敛速度优势显著。在 TPC-C 高并发交易场景中,这一优势尤为明显,CMA+DB 的平均收敛速度(达到最大吞吐量时)优于其他三种算法。能帮助数据库更快脱离性能波动期,进入最优稳定状态,大幅缩短调优耗时,降低系统上线或扩容后的性能适配成本。
在性能提升方面,CMA+DB 展现出持续优化的能力。经过 SAPM 预训练后,框架的吞吐量已优于现有部分主流方法;后续经MATM 的跨类别参数协同优化,以及 PJTM 的精准强化,在 TPC-C 场景下,其延迟显著低于 OtterTune、CDBTune+ 等方法,有效保障了系统在峰值压力下的响应稳定性,避免了因参数配置不当导致的延迟突增问题。
在泛化能力方面,CMA+DB 表现出极强的适应性。实验结果表明,不同参数规模与智能体数量的组合测试显示,CMA+DB 能够根据实际场景灵活调整,无需人工干预即可适配不同规模的数据库参数调优需求,解决了传统方法在参数规模变化时泛化能力下降的问题。
总结与展望
作为一种兼具理论深度与工程价值的数据库参数自动调优方案,CMA+DB 框架通过多智能体分类协作与分层训练的创新设计,有效解决了传统方法在参数交互探索、调优效率与泛化能力上的短板,为 AI 赋能数据库优化领域提供了新的技术思路。
该框架的核心优势在于,不但实现了参数调优的自动化与精准化,而且无需依赖大量人工干预与领域知识,降低了数据库性能优化的门槛,具备较强的应用价值。
未来研究将进一步优化框架结构,通过算法改进降低计算复杂度,提升框架在超大规模参数场景下的运行效率;同时,将尝试适配 MySQL、OceanBase 等更多主流 DBMS,针对不同数据库的内核特性调整智能体的参数分类与协作策略,推动相关技术在金融、电商、社交等实际生产环境中的广泛应用,为数据库系统的性能优化提供更高效、更通用的解决方案。
欢迎访问 OceanBase 官网获取更多信息: https://www.oceanbase.com/