仿生鱼穿越漩涡流场的高效导航策略研究
Efficient Navigation of a Robotic Fish Swimming Across the Vortical Flow Field
冯浩东，袁德瀚，缪嘉乐，尤杰，汪跃，朱毅，范迪夏*
引用格式：Haodong Feng., Dehan Yuan, Jiale Miao, Jie You, Yue Wang, Yi Zhu, Dixia Fan. Efficient navigation of a robotic fish swimming across the vortical flow field. Journal of Hydrodynamics, (2025). https://doi.org/10.1007/s42241-025-0103-5.
摘要
在多种水下机器人应用中，高效地穿越漩涡流场是一个重大挑战。漩涡的动态和不稳定特性经常干扰水下机器人的控制，使它们在水下环境中的操作复杂化。由于非定常流体力学引起的流固耦合（FSI）的复杂性，依赖于精确建模的传统控制方法在这些设置中效果不佳。本文研究了仿生鱼如何在漩涡流场中借助漩涡产生的力高效地穿过涡街。本文提出了一种深度强化学习（DRL）算法，结合了LSTM架构，并使用最近的几个历史连续观测值作为状态来解决部分观测问题，并且以数据驱动的方式进行训练，无需建模仿生鱼在漩涡流场中的复杂的动力学。我们利用浸没边界格子玻尔兹曼方法（IB-LBM）对卡门涡街内的导航进行了数值研究，该涡街是通过将静止圆柱体放置在均匀流中创建的。其目的是训练仿生鱼发现有效的导航策略，使其能够从不同的初始位置到达卡门涡街对面的指定目标点。经过训练，仿生鱼展示了从不同初始位置快速到达目标的能力，这体现了我们提出的算法的有效性和鲁棒性。对结果的分析表明，仿生鱼可以利用漩涡引起的速度增益和压力差到达目标，突显了我们提出的算法在复杂水动力环境中增强导航的潜力。
方法
仿生鱼模型采用了基于多项式的波动以模拟真实鱼类的游动，其振幅和频率每半个周期平滑改变一次，以实现仿生鱼在高度复杂和动态的流体环境中游动的高度机动性。这种波动运动是基于大量虹鳟自由游泳、趋流性和卡门步态的视频构建的。它允许鱼在每半个周期平稳而任意地改变其周期、振幅和波长。因此，仿生鱼模型能够选择不同运动学的适当组合来实现不同的机动运动，例如加速、减速和偏航，从而使仿生鱼能够应对复杂且快速变化的环境。
图1 仿生鱼的示意图
本研究采用深度强化学习（DRL）算法，结合长短期记忆网络（LSTM）和深度Q网络（DQN），以实现仿生鱼在复杂漩涡流场中的高效导航。DRL算法通过数据驱动的方式，使仿生鱼能够在动态环境中自主学习最优导航策略。LSTM网络能够处理时间序列数据中的依赖关系，解决部分观测问题，而DQN则通过学习环境中的奖励信号来优化导航策略。这种结合方法使得仿生鱼能够在复杂的流场中做出实时决策。在DRL中，仿生鱼的状态由其位置、方向角、速度和角速度组成。具体来说，状态向量定义为：
其中x和y是相对位置坐标， θ是方向角,和
是在和方向的平均速度，
是角速度。这种状态的设计只利用仿生鱼自身的位置和速度信息，无需流场信息，更加符合真实场景的需求。奖励函数设计为：
其中是计算域，
分别是仿生鱼和轴的坐标，
是目标点的坐标。这种奖励机鼓励仿生鱼快速到达目标点，同时避免超出流场边界。
另外，为了准确模拟复杂的流场环境，研究团队采用了浸入边界格子玻尔兹曼方法（IB-LBM）。这种方法通过格子玻尔兹曼方程（LBE）来模拟流体动力学，而不是直接求解纳维-斯托克斯方程。LBE的离散形式如下：
其中，是粒子分布函数，r是空间坐标，
是离散格子速度，
是时间步长，
是碰撞算子。通过IB-LBM，可以计算出流场中的宏观物理量，如流体速度和压力等。此外，我们还采用了扩散型浸入边界方法（IBM）来处理流体-结构相互作用（FSI）界面。这种方法通过将拉格朗日力密度分布到欧拉网格节点上，避免了直接施加边界条件的复杂性，特别适用于复杂几何形状和大变形场景。
图2 从不同起点到达目标点的轨迹和流场
实验
由于有来流的存在，仿生鱼从上游和下游的起点展示出了不同的特征。本文针对这两种情况分别利用基于深度强化学习的导航算法进行了实验。在第一个任务中，仿生鱼的初始位置在目标的上游。如图2（a-b）所示，经过训练的仿生鱼已经学会了利用逆时针涡流产生向上升力，因为在这种情况下，仿生鱼在通常情况下只需要向上移动并沿着来流方向到达目标。具体来说，它使用逆时针涡流沿涡流边缘向上移动，并以涡流顶部产生的前进速度向前移动小段距离。
图3 不同训练阶段平均奖励和仿生鱼的游动特征
在第二个任务中，仿生鱼的初始位置在目标的下游。这种情况下，仿生鱼自身运动产生的推力远远无法克服来流产生的阻力从而向前运动，因此它必须利用漩涡产生推力以克服阻力的影响实现向前运行。结果表明，经过训练的仿生鱼已经学会了如何利用卡门涡街引起的流场中的速度分布，如图2（e-h）所示，仿生鱼并没有直接朝着目标方向运动，而是上下迂回，从而巧妙地利用漩涡减小了自身与目标之间的横向距离，然后在横向距离接近时迅速减小纵向的距离以到达目标。
图4 不同起点的泛化和对比
此外，本文还测试了训练之后的仿生鱼对各种初始位置的泛化能力，并将其与未完成训练的情况进行了对比。我们可以看到，对于两种任务，如图4所示，训练完成的仿生鱼可以利用漩涡达到目标，而大多数未完成训练的情况都被冲走了，因为仿生鱼游动产生的推力远小于它的阻力，总的来说，结果表明，我们提出的深度强化学习导航算法可以学习使用复杂的涡街来产生升力，并控制机器鱼游向目标。
未来展望
这项研究为仿生鱼在复杂流场中的高效导航提供了新的思路。未来，我们计划进一步优化算法，使其能够扩展到多目标导航任务。通过动态调整路径，仿生鱼将能够在复杂流场中依次访问多个目标点，显著提升游动的灵活性和效率。此外，实际应用中往往需要多个仿生鱼协同工作，因此研究仿生鱼之间的相互影响将是一个极具吸引力的方向。例如，如何使仿生鱼利用其他个体产生的漩涡来提高自身的驱动效率、降低能量消耗，是一个重要课题。与此同时，仿生鱼如何像真实鱼类一样利用由侧线系统感知的周围压力变化，从而更精准地调整游动姿态和路径，也将是未来研究的关键方向之一。这些研究不仅将进一步提升仿生鱼的自主性和适应性，还将为水下机器人在复杂环境中的高效作业提供更接近自然生物的解决方案。
原文链接：
JHD | 西湖大学冯浩东、范迪夏等：仿生鱼穿越漩涡流场的高效导航策略研究
注：本文由论文原作者整理并投稿分享，获作者授权发布。