当机器人团队遭遇隐蔽攻击，能否在保持安全稳定的同时，继续学习并优化协同性能？
------分布式安全学习控制（DSLC）框架
目录
[01 为什么多机器人"被攻击"后很难保持协同？](#01 为什么多机器人“被攻击”后很难保持协同？)
[02 把攻防写进预测控制：一场在线微分博弈](#02 把攻防写进预测控制：一场在线微分博弈)
[03 仿真验证与跨规模泛化](#03 仿真验证与跨规模泛化)
[从 2 台到 1000 台：策略可扩展](#从 2 台到 1000 台：策略可扩展)
[04 真实机器人实验](#04 真实机器人实验)
[05 结语](#05 结语)
多机器人系统的抗攻击控制已有大量研究。通过鲁棒反馈、状态观测和攻击检测等方法，研究者能够在一定攻击条件下维持系统稳定。
**然而，当控制器需要在运行中持续学习、改进协同策略时，问题变得更加复杂：**策略更新会改变机器人的闭环行为，性能改善并不自然意味着安全稳定；隐蔽攻击还可能干扰学习与控制过程，使局部偏差通过机器人之间的交互影响整个团队。
如何让策略"学得更好"的同时，确保机器人团队"运行得稳"，是安全学习控制需要解决的关键问题。
实际部署还提出了进一步要求：机器人团队既要完成一般编队、仿射编队、包含控制等不同协同任务，也要适应团队规模的变化。如果每换一种任务都需要重新设计控制架构、每增加一批机器人都需要重新训练策略，学习控制的应用效率将受到明显限制。
能否用统一架构支持多类协同任务，并让小规模系统中学到的安全策略快速泛化到大规模团队？
围绕上述问题，国防科技大学张兴龙、马清文、李聪、徐昕等，联合湖南大学尹辉、同济大学王曰英、英国纽卡斯尔大学潘为（智身科技CTO）等开展研究，相关成果以《Distributed Secure Learning Control for Large-scale Multirobots under Stealthy Actuator Attacks》为题发表于 IEEE Transactions on Robotics。徐昕、马清文为共同通讯作者。
▲图1｜分布式安全学习控制（ DSLC）原理图。
研究提出了一种统一的分布式安全学习控制框架（Distributed Secure Learning Control，DSLC）。
在每个滚动预测区间内，攻击者试图恶化协同性能，防御者则通过学习控制策略抵御攻击、优化团队行为。简单说，它不是等攻击被检测出来再补救，而是把攻击者和防御者放进同一个微分博弈里，在线学习双方的策略，让机器人团队在"最坏攻击"下继续完成任务。
框架联合学习双方的闭环策略，并结合终端稳定性设计与滚动时域机制，在相应条件下保障闭环稳定，实现隐蔽攻击下的协同性能持续优化。
这一架构统一支持一般编队、仿射编队和包含控制等任务，还能将小规模系统中学到的安全策略直接推广至更大规模的机器人团队，为兼顾安全性、控制性能与可扩展性的多机器人学习控制提供了新的方法。
01 为什么多机器人"被攻击"后很难保持协同？
**多机器人系统的优势很明显：**它们可以通过分布式协作完成单台机器人难以完成的任务，比如编队、包围、区域覆盖、协同运输。
**但代价也很明显：每个局部控制器都要依赖邻居信息，**局部机器人受到攻击后，其影响可能通过邻居交互传播至整个团队。
攻击通常分两类：
- DoS 攻击会阻断通信，流量特征明显，相对容易检测；
- 而欺骗攻击、执行器攻击则隐蔽得多。
尤其是执行器攻击，攻击者可以平滑地、动态一致地篡改控制输入，使被篡改的控制输入难以与正常指令区分，同时把系统推向不稳定。
一般编队、仿射编队和包含控制等协同任务下，多机器人编队误差动力学可通过空间变换统一表示为如下相互耦合的数学形式：
其中，
，执行器攻击直接作用于控制输入。
这种攻击控制信号可能与正常指令具有相似的变化特征，使异常难以及时被发现，却逐步通过网络传播造成多个节点的轨迹偏离和队形破坏。
这给控制设计带来双重挑战：既要在攻击下维持稳定并优化任务性能，又要避免复杂在线优化带来的计算负担。
过去的办法大多关注"稳定与鲁棒"：事件触发控制、观测器鲁棒控制、检测---监控控制等。它们能提升安全性，但有一个关键问题没有解决：在恶意攻击下，如何继续优化协同性能？
传统分布式模型预测控制（DMPC）依赖在线周期性数值优化求解，在线计算量大，难以扩展到大规模机器人；
强化学习能够优化控制策略，但在恶意攻击下，如何兼顾在线学习的计算效率与闭环稳定性，仍面临挑战。
所以真正的问题变成了：能不能让多机器人系统在隐蔽攻击下，不仅"稳住"，还能继续优化队形、轨迹和任务性能？
02 把攻防写进预测控制：一场在线微分博弈
该研究的核心方法叫 DSLC。
它的关键不是把攻击当成普通扰动，而是把攻击者和防御者建模为微分博弈中的对抗双方。
在预测时域内求解对应的零和微分博弈 min-max 优化问题：
局部代价函数定义为：
阶段代价：
在每个预测区间内，攻击者试图最大化系统代价，防御者试图最小化代价，形成一个零和 min-max 优化问题。
为了降低在线计算开销，DSLC 则把有限时域优化问题分解成一系列更小的子问题，以"前向时间"的方式迭代求解闭环控制策略。
具体来说，团队设计了一个滚动时域分布式attacker-actor-critic架构。每个机器人配备三组网络：
- **critic 网络：**估计值函数，评估当前策略的好坏；
- **actor 网络：**生成防御策略，即安全控制输入；
- **attacker 网络：**生成最坏情况下的攻击策略，用于训练防御者。
Attacker-Actor-Critic网络的更新律设计如下：
理论上，论文在初始可行性和终端条件等假设下建立了最优闭环策略的稳定性结论，并分析了神经网络学习误差的有界性。针对实际学习得到的近似策略，还给出了可检验的稳定性条件。
与数值优化方法输出开环控制序列不同，DSLC 直接生成解析闭环攻防策略。
防御策略仅依赖机器人自身及邻域状态，通信开销主要取决于局部邻域规模。同时，终端惩罚矩阵的设计保证了闭环稳定性，使策略学习与滚动时域机制结合起来。
更重要的是，这个框架是统一的：一般编队、仿射编队、包含控制，都可以纳入同一套分布式安全学习控制中。
03 仿真验证与跨规模泛化
多种攻击概率下的对比验证
研究首先在 2、4、6 台机器人仿真系统中，将 DSLC 与分布式滚动时域强化学习（DRHRL）、分布式鲁棒模型预测控制（DRMPC）进行比较。
攻击概率 β 间隔0.2，从 0 变化到 1，其中 β = 0 表示无攻击，β = 1 表示每次均施加攻击。
受攻击时，对比方法出现不同程度的轨迹偏离和队形紊乱；DSLC 仍能保持较好的跟踪与编队性能。
定量结果显示，DSLC 的累计误差指标 IAE、ITAE 更低，综合代价也在多数测试中优于对比方法。
▲图 2｜不同攻击概率下的六机器人编队仿真轨迹。从左至右依次为DSLC、RHRL 和 DRMPC。
从 2 台到 1000 台：策略可扩展
为了证明这不是"只在小团队上好用"，该工作进行了大量仿真。
在仿真中，团队对比了 DSLC、分布式滚动时域强化学习（DRHRL）和分布式鲁棒 MPC（DRMPC）。
攻击概率从 0 到 1 变化，机器人数量从 2 台、4 台到 6 台。
结果显示：DSLC 的 IAE、ITAE 和综合代价 Jc 明显更低，轨迹跟踪更准，队形保持更稳。更关键的是可扩展性。将仅从 2 台机器人上学习到的策略，直接部署到 100 台甚至 1000 台机器人。
在不同攻击概率下，大规模团队仍能稳定运行。
在计算效率方面，在 1000 台机器人场景中，每个局部控制策略平均只需 1.03 ms 完成策略学习，部署阶段仅需 0.16 ms。上述测试数据来自单台主机上的计算测试，反映了局部策略的计算效率，为后续机载分布式实现提供了依据。
▲图3｜策略部署到100台和 1000 台机器人， 不同攻击概率下的性能代价曲线。
04 真实机器人实验
论文进一步把 DSLC 推向了真实轮式机器人平台。实验平台由多台轮式移动机器人、视觉定位系统和主机组成。机器人状态通过相机实时测量，防御策略在主机上计算后，经 WiFi 6 和 UDP 协议发送给各机器人 STM32 微控制器。攻击者则利用局部状态信息，向单个机器人执行器注入隐蔽欺骗攻击。
▲图4｜实验平台与攻防信息流。左图为机器人及视觉定位场景，右图为状态测量、控制指令和攻击信号的传递关系。
论文在不同规模机器人系统上验证了三类协同任务：
- 任务一：一般编队控制。
机器人团队分别跟踪直线和圆形参考轨迹，攻击概率设为 0、0.5、1。DSLC 能让 4 台和 6 台机器人保持稳定矩形编队，而 DRHRL 在攻击下偏离轨迹、队形破坏，甚至碰撞。
▲图5｜六机器人圆形轨迹跟踪实验，β = 1。上排为 DSLC，下排为 DRHRL。快照与轨迹图共同展示了两种方法在持续受攻击条件下的队形保持效果。
在六机器人直线编队实验中，β = 1 时，DSLC 的 IAE 为 2.19，DRHRL 为 7.30，相对降低 70.0%，体现了受攻击时的协同控制性能改善。
- 任务二：仿射编队控制。
在狭窄通道和障碍物场景中，DSLC 控制的机器人团队可以动态收缩、扩张编队，安全通过障碍区域。DRHRL 则出现编队混乱、机器人碰撞和障碍物碰撞。
▲图6｜仿射编队实物实验，β = 0.5。上半部分为 DSLC，下半部分为 DRHRL；每组左侧为实物快照，右侧为运动轨迹。DSLC 在所测场景中完成了队形变换与避障。
在 β = 0.5 和 β = 1 两种攻击条件下，DSLC 均完成了相应任务，累计误差低于 DRHRL。以 β = 1 为例，IAE 从 6.31 降至 4.06，相对降低约 35.7%。
这组实验检验了协同策略在队形变化过程中的抗攻击表现：机器人需要同时保持相互配合、跟随参考轨迹，并适应障碍区域的通行要求。
- 任务三：包含控制。
在领导者---跟随者结构中，跟随机器人需要进入领导者形成的凸包。实验中，10 秒后新领导者加入，DSLC 能让跟随机器人重新进入更新后的凸包，并保持安全距离。
在DRHRL控制 下，跟随者机器人无法有效进入凸包，导致碰撞。在 β = 0.5 的包含控制实验中，DSLC 的 IAE 为 21.44，低于 DRHRL 的 31.66，相对降低 32.3%，说明它在攻击下确实实现了更优的控制性能。
▲图7｜包含控制实物实验，β = 0.5。上半部分为 DSLC，下半部分为 DRHRL。新领导者加入后，DSLC 控制下的跟随机器人重新进入更新后的凸包，并保持安全距离。
05 结语
DSLC 将安全防御与协同性能优化融入统一的学习预测控制框架，在隐蔽执行器攻击下支持一般编队、仿射编队和包含控制等多类任务，并通过显式闭环策略的复用，实现了从小规模系统学习到大规模仿真系统的直接部署。
**现阶段，理论分析建立在理想静态通信网络及相应模型、测量假设之上，策略学习需给定攻击概率；**实物实验采用轮式机器人，局部策略由主机统一计算。未来将进一步研究通信时延、复杂攻击、异构机器人及高维未知动力学条件下的安全学习控制，推动机载分布式部署与更复杂场景验证。
该研究为兼顾安全保证、协同性能优化与跨规模泛化的多机器人学习控制提供了统一的方法框架。
Ref：
Xinglong Zhang, Qingwen Ma, Cong Li, et al. Distributed Secure Learning Control for Large-scale Multirobots under Stealthy Actuator Attacks. IEEE Transactions on Robotics，Early Access，2026.