说明:本文基于 Chauhan 等人在 Artificial Intelligence Review 发表的综述论文《Advancements in Multimodal Differential Evolution: A Comprehensive Review and Future Perspectives》,对其中涉及的理论与算法脉络进行系统梳理与再组织,适合作为多峰差分进化(Multimodal Differential Evolution, 简写 MMDE)方向的"二次教材"。
1 引言:多峰优化与差分进化的交汇点
差分进化(Differential Evolution, DE)之所以在近十多年一直活跃,是因为它在连续空间优化中实现了一种极简而有效的进化机制:个体之间的"差分"被直接用作变异步长,从而避免了显式构造概率分布或梯度模型。(维基百科)
然而,在大量真实问题中,人们并不满足于找到单一最优解。参数不确定、成本约束、设备容差以及现实环境的扰动,使得工程师更希望掌握一簇"可选解",并在其中根据实际情况灵活切换。对应到数学上,就是多峰优化问题(Multimodal Optimization Problems, MMOPs):目标函数上同时存在多个全局和局部最优,优化算法需要在一次运行中尽可能多地发现并维持这些峰值附近的解。
传统的梯度法或确定性搜索,即便通过多次随机重启,也很难保证得到一组分布合理、互相足够"远"的备选解。群体式进化算法------尤其是差分进化------天然具备并行探索多个区域的潜力,但其标准形式往往仍然会收缩到单一峰值。为了解决这个矛盾,大量工作围绕"生态位保持""子种群划分""密度控制""聚类分区""多目标重构"等思路,对 DE 进行了深度改造。
Chauhan 等人的这篇综述正是围绕这样一个问题展开:在 2017--2024 年间,围绕多峰优化场景,差分进化到底被改造出了哪些分支,这些分支在理论上依据什么机制维持多峰结构,实验上又展现出怎样的性能特征。文章以 DE 自身的演化为主线,将各类 MMDE 算法分为若干主题板块:基础 DE 的主要演进、基于生态位的 DE、基于聚类的 DE、基于变异与参数自适应的 DE、与其他算法的混合 DE、与机器学习结合的 DE、多层 DE、以及多目标--多峰 DE 等。
论文同时统计了 2014--2024 年间 DE 相关文献的引文情况,展示出 DE 在工程、计算机科学、数学等多个学科中长期稳定的影响力。

这幅图从侧面说明:在众多元启发式算法中,DE 依然是被大量引用和扩展的"主力工具",因此针对多峰场景对其进行系统性综述具有很强的现实价值。
2 差分进化及其主流改进:从 DE/rand/1 到 L-SHADE 系列
2.1 基本差分进化的搜索机理
基础 DE 的核心在于三个操作:变异、交叉与选择。假设种群规模为 ,维度为 D,个体
以实数向量表示。算法通常记为 DE/x/y/z,其中 x 表示基向量的选择方式(rand、best、current-to-best 等),y 为差分向量个数,z 表示交叉方式(bin 或 exp)。
在常见的 DE/rand/1/bin 中,变异通过三条随机个体构造差分:
其中F为缩放因子,控制步长大小。接着,变异向量与原个体在维度上进行二项交叉,得到试验个体;最后由贪婪选择决定下一代:若
不劣于
,则保留
。看似简单的规则,通过多代迭代即可形成以群体差分为驱动力的随机搜索过程。
这种机制在单峰问题中表现出很好的收敛性,但在多峰场景下,由于所有个体共享同一个种群池,差分逐渐缩小,群体不可避免地向某个主峰集中,其他峰附近的"生态位"会被迅速清空。这就为后续的"生态位维护"和"多峰结构感知"的改造埋下了伏笔。
2.2 自适应参数与历史记忆:SHADE 的思想
为了提高 DE 在复杂场景中的鲁棒性,人们首先从"参数自适应"入手。SHADE 建立在 JADE 的基础上,引入"成功历史驱动"的参数记忆机制:每个个体在变异时使用 DE/current-to-pbest/1 策略,以当前种群前若干百分比中的优秀个体为引导方向;同时,缩放因子 F 和交叉概率 CR 不再是固定常数,而是从历史上"成功产生更优解"的参数集合中抽样。
换言之,SHADE 通过记忆参数和实际优化效果之间的对应关系,让参数分布逐步向"经验上更靠谱"的区间收缩。这种机制并没有改变 DE 的基本演化逻辑,却赋予算法一种类似"元学习"的能力,使其能够自适应调整探索与开发的平衡。
2.3 线性种群缩减:L-SHADE 的收敛加速
L-SHADE 在 SHADE 之上增加了线性人口规模缩减(Linear Population Size Reduction, LPSR)机制。算法在初始阶段使用较大的种群规模,以保持足够的多样性,随着迭代进行,种群规模按预设线性规则逐渐减小,后期更多强调局部开发。
对于多峰问题,这种机制一方面可以在前期帮助算法同时覆盖多个区域,另一方面在后期集中计算预算以提升峰值附近解的精度。这种"先广后精"的节奏,与多峰优化"先找峰再抠细节"的直觉高度一致。
2.4 正弦自适应与协方差学习:LSHADE-EpSin 与 LSHADE-cnEpSin
在 L-SHADE 的基础上,LSHADE-EpSin 引入了更复杂的参数调节机制:缩放因子 FF 由两条正弦函数控制,一条随迭代次数单调衰减,另一条则根据历史表现自适应调整频率,两者共同作用于前半段演化过程;到后半段则改用柯西分布进行局部抖动,以进一步精细化搜索。
LSHADE-cnEpSin 进一步提出了基于协方差矩阵学习的交叉算子。算法在当前种群中选取一部分"邻域样本",估计其协方差矩阵并进行特征分解,将个体变换到主轴对齐的坐标系中再执行交叉操作,最后再映射回原空间。这种做法借鉴了 CMA-ES 的思路,使 DE 在局部搜索阶段具有更强的方向感和自适应形状匹配能力。
可以看到,从 DE 到 SHADE、L-SHADE,再到正弦与协方差学习版,算法不断在"参数自适应"和"局部结构利用"上加码,而这些机制在多峰优化中都直接影响种群在多个峰之间的分布方式。
2.5 基础 DE 家族对多峰优化的意义与对比表
为了方便理解这些主流 DE 变种在机制上的差异,可以在 CSDN 文章中用一张表做一个高度概括。下表在不复制原文 Table 1 的前提下,重新整理了几个代表算法的关键思想。
| 算法 | 关键机制概括 | 参数调节方式 | 对多峰优化的潜在影响 |
|---|---|---|---|
| 基本 DE/rand/1/bin | 利用随机基向量和单差分变异,依赖固定 F 与 CR | 手动设定固定 F、CR | 多样性完全靠随机初始化维持,容易向单峰收缩 |
| SHADE | 使用 current-to-pbest 变异,并记录成功样本的参数历史 | 从历史成功参数均值分布中抽样 F、CR | 有利于在复杂地形上形成"自适应步长",减缓早熟收敛 |
| L-SHADE | 在 SHADE 基础上引入线性种群缩减 | 随迭代逐步减小种群规模 | 前期提高峰覆盖率,后期集中算力精细搜索 |
| LSHADE-EpSin | 通过两条正弦函数和柯西扰动动态调整 F | 组合正弦自适应与分布抽样 | 以"节奏化"步长变化在不同阶段强调探索或开发 |
| LSHADE-cnEpSin | 结合正弦自适应与协方差矩阵学习的交叉 | 邻域协方差学习 + 正弦/柯西调参 | 在局部空间中自动对齐主方向,提升峰附近收敛效率 |
这张表并不试图详尽复现论文内容,而是帮助读者建立一个"从基础 DE 到现代 DE"的观念链条:参数从静态到自适应,空间结构从忽略到主动学习,这些演化都为后续多峰场景中的生态位维护与聚类分区打下了基础。
3 多峰差分进化中的生态位思想:Niching 技术的系统梳理
生态位(niche)在生物学中指的是物种在环境中的"生存位置和角色";在进化计算里,则被用来描述种群在搜索空间中围绕不同峰值形成的若干子群。一个能够有效解决多峰优化的 DE 算法,必须在单次运行中同时维持多个生态位,而不是被某个主峰"吸干"所有个体。
经典的生态位方法包括适应度共享、crowding、clearing 等,它们大多依赖某种"距离度量"来限制个体过度聚集。例如适应度共享通过减少过密区域个体的有效适应度,从而降低其被选择的概率;crowding 则在局部区域内让后代与就近父代竞争,防止优良个体在整个种群范围内过度扩张。早期这些方法常被应用在遗传算法和粒子群中,后来被系统性地移植到 DE 上。
Chauhan 等人在综述中,将近几年基于 DE 的多峰算法中采用的生态位思想归结为若干方向。一类方法通过显式的密度估计 来划分生态位,例如基于欧氏距离或最近邻的拥挤度度量;另一类方法通过**"山谷检测"来识别峰值之间的边界,如 Hill--Valley 系列方法,它们借助历史样本的函数值变化模式判断两个解是否属于同一峰。还有一些方法使用历史档案**记录已发现峰值的代表个体,从而在后续搜索中刻意避开或局部微调这些区域。
值得注意的是,许多现代 MMDE 算法不再满足于单一生态位技术,而是把密度控制、档案维护、局部搜索和参数自适应打包组合。例如部分算法在主种群上进行基于距离的生态位划分,同时在每个生态位内部引入局部搜索或高阶变异算子,以提升峰值附近的精确度。也有工作借鉴物理或网络社区的概念,将个体间的相似关系映射为图结构,通过图划分算法自动发现潜在生态位。
在原文中,作者用一个较长的表格(Table 2)梳理了代表性生态位 DE 变种,包括它们采用的生态位机制、主要测试基准与相对性能。这里不逐一列举算法名称,而希望读者在阅读论文时重点关注生态位信息在算法中出现的位置:有的在变异阶段限定父代选择范围,有的在选择阶段改变竞争规则,有的则在整个流程之外通过档案进行"全局干预"。理解这些设计插入点,比记住算法缩写更有价值。
4 基于聚类的差分进化:从空间分区到图结构划分
如果说生态位方法是从"进化竞争规则"出发管理多峰结构,那么聚类方法则从"数据划分"的角度介入:把当前种群视为样本点,通过聚类算法将其分成若干簇,每个簇对应搜索空间中的一块区域或一个潜在峰值。
原文指出,聚类方法与生态位思想在本质上高度相似:两者都希望根据个体间的相似度把不同峰值附近的个体隔离开来,只不过聚类更多地引入了已有的数据挖掘工具。作者将聚类式 DE 大致分为两大类:基于分区的聚类 与基于最小生成树的聚类。
在分区型方法中,算法往往采用 K-means 或其变体,对当前种群进行硬聚类,将个体划入若干互不交叠的簇。每个簇可以视作一个独立的子种群,在内部执行 DE 演化操作,同时在簇间维持一定的迁移或重分配机制,以避免某些簇陷入停滞。得益于 K-means 的计算效率,这类方法在中等维度问题上非常实用。
最小生成树型方法则首先构建以个体为节点、以距离为权重的图结构,求得最小生成树,再根据边权或结构特征切断若干边,将树划分成多个连通分支。每个分支自然对应一个"稠密区域",往往与函数地形的局部峰值相吻合。与简单的 K-means 不同,最小生成树方法在处理形状复杂、密度不均的分布时往往更灵活,可以适应不规则的峰谷结构。

在多峰差分进化中,聚类不仅是一种"事后分析"的工具,更是算法中的动态组件:在每若干代迭代后重新聚类,可以自适应地追踪峰值的移动与消失;而在复杂搜索空间中,聚类帮助算法把计算预算合理地分配到不同区域,避免全部资源被少数峰值占据。
5 变异策略与参数自适应:控制探索--开发平衡的"细节引擎"
除了生态位和聚类这类"宏观结构"手段,多峰 DE 的很大一部分改进集中在微观层面的变异算子和参数调度上。原文将这部分工作归类为"变异与参数自适应"主题,其中既包括新型的差分变异结构,也包括多策略协同与理论分析。
在变异结构方面,一些算法通过引入多模态变异(multimodal mutation)的思想,让父代选择不再只依据个体适应度,而同时考虑空间距离:算法倾向于选择在适应度上优秀且在空间上分散的个体产生差分,从而使后代更可能出现在不同峰值附近。这种策略本质上将"多样性"直接写入变异算子之中,而不仅仅依赖外部的生态位机制。
在参数自适应方面,除 SHADE 系列外,一些工作还提出了多级自适应方案,例如同时根据种群整体多样性、局部收敛速度乃至峰值数量估计来调整 F 和 CR。还有算法采用多策略集合(strategy pool),在每一代或每个个体上,从多个变异--交叉组合中选择一个执行,而选择概率则由历史表现驱动。这样的机制从马尔可夫决策的角度来看,实际上已经接近强化学习,只是选择空间和状态描述较为简化。
理论分析方面,部分工作尝试对某些简化版 DE 变体在多峰函数上的收敛行为进行数学刻画,例如通过一维或简单多维模型分析在不同 F、CR 设置下收敛到不同峰值的概率分布。这些研究尚不足以完全解释实际算法在高维复杂函数上的行为,但为理解"探索--开发平衡"提供了初步的定量框架。
原文在 Table 4 中对多种变异与混合 DE 变体作了联合总结,涵盖了自适应变异、双阶段策略、局部搜索增强以及与其他算法的融合。这里我们不复制表格,而是建议读者在阅读时特别注意两个问题:各算法如何利用"历史信息"(如成功样本、档案、峰值分布),以及如何在多峰场景下权衡"在一个峰附近挖深"与"去另外一个峰探路"。
6 混合与多层差分进化:与局部搜索和其他群体算法的协同
当单一的 DE 框架在多峰问题上遇到瓶颈时,一个自然的想法就是与其他优化思路"联姻"。Chauhan 等人将这类工作统称为混合 DE 与多层 DE。
混合 DE 中,最经典的是模因算法(memetic algorithms):在 DE 的全局搜索基础上,对每个子种群或每个峰值附近的代表个体施加局部搜索,如高斯扰动、爬山法、模式搜索等。这样做的效果是让 DE 负责"发现峰",而局部搜索负责将峰值位置压得更准。由于多峰问题强调同时找到多个峰,局部搜索常常在每个峰周围独立进行,以免过度干扰群体结构。
另外一条混合路线是与其他群体算法协同。文中提到的 QPSODE 将量子粒子群优化(QPSO)与 DE 融合:QPSO 负责在广义势阱中实现大尺度探索,而 DE 在局部区域内进行精细调整。实践表明,这种"强全局 + 强局部"的组合在多峰基准上表现出良好的探索--开发平衡。
多层 DE 则在时间或空间尺度上引入层次结构。例如在上层以粗粒度个体描述峰值位置或簇中心,下层以细粒度个体描述峰附近的局部解;或者在上层粗分搜索空间,下层在各分区内部进行独立演化。这样一来,算法可以在不同层级上分别优化"找多少个峰""每个峰找得多精",从而更好地适应复杂地形。
7 机器学习驱动的多峰差分进化
7.1 强化学习:把策略选择变成"智能体决策"
随着强化学习与深度学习的发展,将机器学习思想引入 DE 已经成为一个显著趋势。原文专门用一节讨论了 RL 与 DE 的结合,并用一幅示意图展示了典型的 RL 交互流程。

在 RL-DE 框架中,一个常见的设计是把每个个体视作一个智能体。环境状态由个体的适应度排名、多样性信息乃至峰值数量估计等构成;动作空间则是候选变异策略或参数设置;奖励则依据迭代前后适应度的改善情况、多样性变化以及是否发现新峰等信息综合而成。智能体通过 Q-learning 或策略梯度,在长期交互中逐渐学会在不同状态下选择更合适的策略。

例如文中提到的 DE-RLFR 算法,将个体在多目标空间中的适应度排名映射到离散的状态格子上,并设计与之对应的奖励函数,使得个体在学习过程中不仅要提升自身适应度,还要维护种群在各个峰附近的覆盖度。
从理论视角看,这类算法实质上是在 DE 的元层上套了一个马尔可夫决策过程:DE 的演化步骤构成环境动态,而策略选择成为智能体的行动。这样的设计有两个潜在优势:一是可以显式利用历史经验优化策略组合;二是为多峰场景中复杂的策略调度提供了统一框架。当然,这也带来了状态维度高、样本效率低等挑战。
7.2 深度学习与代理模型:昂贵多峰问题中的 DE
在许多工程应用中,目标函数的评估极其昂贵,例如涉及 CFD 仿真、有限元分析或复杂的电磁求解。在这种情形下,多峰 DE 如果大量进行原始评估,会导致难以接受的时间成本。为此,综述中收录了一类基于代理模型(surrogate models)的 DE 算法。
基本思路是:使用高斯过程、径向基函数网络或浅层/深层神经网络拟合真实函数,将其作为廉价近似,在 DE 的大部分迭代中使用代理模型评估候选解,只在关键节点调用真实函数进行纠偏与模型更新。多峰特点在这里显得尤为棘手,因为代理模型既需在每个峰附近有足够准确的拟合,又要正确表示峰之间的相对高度和宽度。
部分算法通过分区建模、峰值局部再训练等方式来缓解这一问题;也有工作引入不确定性估计,让 DE 在代理模型"信心不足"的区域多做真实评估,从而逐渐改善模型质量。
7.3 机器学习视角下的多峰 DE 理解
从更宏观的角度看,把机器学习与 DE 结合,可以将多峰优化问题转化为一个"学习搜素策略"的问题:算法不再只是固定地执行某种预设变异,而是在长期交互中逐渐学会如何在不同地形上调整行为。这为多峰 DE 的理论研究提供了新的视角------例如,可以尝试分析策略学习的收敛性,或研究策略空间的表达能力如何影响可达峰值集合。
8 多目标--多峰差分进化:从 MMOP 到 MM-MOOP
多峰问题不仅可以出现在单目标场景,还会出现在多目标情形。这时,每个 Pareto 前沿上的点背后可能对应多个不同的决策向量,从而形成所谓的多模态多目标优化问题(Multimodal Multi-Objective Optimization Problems, MM-MOOPs)。
原文指出,解决 MM-MOOPs 的一条思路,是利用多目标框架本身的多样性维持机制,将 MMOP 转化为带有辅助目标的双目标问题。例如把原始目标函数作为第一目标,引入一个衡量多样性的第二目标(如距离已有解的最小距离、基于密度的拥挤度等),通过 DE 风格的多目标进化(如基于 Pareto 排序与拥挤距离的选择)在一次运行中探索多个峰值。
这类方法的理论关键在于:如何设计辅助目标,使其既能鼓励多样性,又与原始目标保持适度冲突,从而让 Pareto 前沿覆盖所有全局峰值。若辅助目标设计不当,可能导致算法偏好某些局部峰,或在整个空间中平均散布而忽视真正的高质量解。
9 实验评估与基准问题:从峰值数量到性能指标
为了系统比较不同 MMDE 算法的性能,原文汇集了多类经典基准,包括 CEC 2013、CEC 2015、CEC 2017 等多峰测试集,以及部分实际工程问题,如电磁设计、网络布设、非线性方程组求解等。(科学直通车)
在评价指标方面,除了常见的最优函数值、平均误差、标准差外,多峰场景具有自己特有的度量,例如:
-
找到的峰值个数:与已知理论峰数或高精度求解结果对比,衡量算法覆盖多峰的能力;
-
峰值分布均匀性:观察解集是否集中在少数峰附近,还是相对均匀地覆盖多个峰;
-
成功率与计算预算:在限定函数评估次数下,多次独立运行中算法成功找到全部全局峰值的比例。
论文中通过大量表格比较了不同算法在基准上的表现。总体来看,那些结合了生态位维护、聚类分区、自适应变异以及局部搜索的复杂算法,往往在峰值覆盖和解集精度上优于传统 DE;而机器学习和代理模型方法则在昂贵函数场景中展现出明显优势。
需要强调的是,这些实验结果更多是在特定基准与参数设置下的相对比较,并不意味着存在一个"无敌的 MMDE 算法"。从理论角度看,多峰优化的 No Free Lunch 现象依然存在,不同算法在不同类型地形(如峰数多少、峰间距离、维度高低)上表现差异明显,因此理解各类算法适用的"地形类型",比盲目追求单一最优更为重要。
10 主题结构回顾与理论层面的小结
在论文的结构概览图中,作者用一张主题关系图给出了整篇综述的"知识地图":从基础 DE 出发,向外辐射出生态位 DE、聚类 DE、变异与自适应 DE、混合 DE、机器学习 DE、多层 DE、多目标 DE 和应用与实验分析等多个分支,并在最外层标注若干开放议题,如解释性、指标体系、量子启发 DE 等。
从理论视角回顾这一结构,可以看到多峰差分进化的研究大致沿着三条主线展开。第一条主线是搜索动力学的精细化 :通过越来越复杂的变异算子、参数自适应与协方差学习,使得 DE 在不同阶段、不同区域具备不同的探索--开发能力。第二条主线是群体结构的显式建模 :生态位、聚类、多层结构等方法都在尝试把"群体如何在空间中分布"这件事转化为可控的算法组件,从而避免简单收缩到单峰。第三条主线是外部知识与学习能力的引入:局部搜索带来问题结构的先验,机器学习带来策略层面的经验积累,代理模型带来昂贵函数的近似表达。
如果把多峰优化看作在复杂多峰能量面上运行的随机过程,那么这些改进共同构成了对"随机过程结构"的逐步约束与提升:从无记忆、无结构的随机差分行走,变成具备历史记忆、空间分区、局部模型甚至策略学习的结构化随机过程。这种理解有助于我们在面对新的多峰问题时,根据地形特征选择或设计合适的 MMDE 变体,而不是停留在算法名称层面的比较。
11 结语:如何把这篇综述转化为自己的研究工具箱
Chauhan 等人的工作为多峰差分进化提供了一幅相对完整的研究全景:一方面回顾了 DE 在参数自适应与结构利用上的主流演化路线;另一方面,从生态位、聚类、变异与混合、机器学习、多层与多目标等多个主题对近年的 MMDE 文献进行了系统归类;最后在应用与实验分析的基础上,提出了一系列开放问题。
对于希望在 CSDN 或科研工作中进一步深入这一方向的读者,可以考虑按如下方式使用这篇综述------这里不再罗列式给出"做法清单",而是尝试描述一种"阅读节奏"。在第一轮阅读中,可以重点把握本文第 2--4 节所述的基础 DE 与生态位、聚类技术,搞清楚这些方法在算法流程中扮演的角色;在第二轮阅读中,再系统浏览机器学习融合、多层结构与多目标部分,把握这些高级机制与基础 DE 之间的接口;最后,如果你已经在做具体应用,可以仔细研读原文的实验与应用章节,把与你任务相近的实例提取出来,思考如何迁移算法结构与评价体系。
从理论研究的角度看,多峰差分进化依然有许多值得深挖的问题:如何构建能够刻画多峰地形与算法行为的统一数学模型;如何在不牺牲多峰覆盖度的前提下进一步降低计算复杂度;如何利用因果推断或信息论视角理解算法对"多样性"的真正需求;以及如何在保证可解释性的前提下,将大规模机器学习模型与进化搜索过程更紧密地结合。综述已经为这些问题做好了文献铺垫,剩下的,就留给读者和研究者在自己的工作中逐步展开。
总之,《Advancements in Multimodal Differential Evolution: A Comprehensive Review and Future Perspectives》既是一份详尽的文献目录,也是一张清晰的研究路线图。希望本文这篇偏理论向的解读,能帮助你在阅读原文时更快建立全局结构,从而把这张路线图真正变成自己手中的"工具箱"。