Bubble recognizing and tracking in a plate heat exchanger by using image processing and convolutional neural network
基于图像处理和卷积神经网络的板式换热器气泡识别与跟踪
期刊信息：International Journal of Multiphase Flow 2021
期刊级别：EI检索 SCI升级版工程技术2区 SCI基础版工程技术3区 IF3.8
原文链接：https://doi.org/10.1016/j.ijmultiphaseflow.2021.103593
文章目录
摘要
本研究提出了一种某某某可视化平台的气泡识别与跟踪 新方法。
首先，利用卷积神经网络(CNN)和改进的三帧差分(ITFD)方法 ，从捕获的视频中检测并获得PHE透明通道中气泡流的位置和状态；然后，采用IoU筛选算法对结果进行优化。最后，计算气泡的位置和速度 。此外，还得到了局部雷诺数 、韦伯数 和弗劳德数等无量纲参数。结果表明，该方法能够准确识别和跟踪单个气泡的破裂、合并和碰撞等时空行为。在PHE通道中存在大量密集气泡的情况下，该方法的平均准确率可达94%以上，召回率可达87%以上，F1得分为0.91。
实验装置
气泡识别和跟踪方法
本研究采用了 YOLOv3 网络来识别图像中的气泡，并输出包含宽度、高度和左上角坐标的边界框信息。YOLO 网络可以预测目标的边界框位置和目标类型。气泡被分为正常气泡（单个或孤立气泡）和异常气泡（其他气泡，例如碰撞、破裂和融合气泡等）。
然而，为了改善 YOLO 网络识别小气泡的不足，引入了 ITFD 方法来提高识别率，同时不影响检测器的识别速度。帧差法是常用于运动物体检测和分割的方法之一，其基本原理是利用图像序列中两到三帧相邻帧之间基于像素的时间差来提取图像中的运动区域。ITFD 方法作为一种帧差法，对小目标的检测非常有效。此外，与传统方法相比，它提高了稳定性和鲁棒性。因此，它可以应对一些复杂环境中的目标检测任务。
为了优化检测器的检测性能，本文采用了 IoU 评分筛选法。IoU 评分是用于物体检测的指标，定义为生成的候选框与真实框的重叠率，即交集与并集的比值。当生成的候选框完全与真实框重叠时，IoU 评分为 1，表示识别结果与真实情况完全一致。本研究中，将 YOLO 网络的结果视为真实框，而将 ITFD 方法的结果视为生成的候选框。因此，可以通过 YOLO 网络和 ITFD 方法输出的边界框计算 IoU 评分。IoU 评分高的 ITFD 结果中的框将被删除，而 IoU 评分低的边界框则被保留。
在大多数情况下，CNN 和 ITFD 检测到的相同气泡的 IoU 评分会超过 0.9。因此，本研究将高于 0.9 的 IoU 评分定义为高 IoU 评分，其余的则为低 IoU 评分。
网络结构：
如图所示，气泡图像数据集同时输入YOLO Net和ITFD，检测结果分别以红色框和绿色框中的气泡表示。得到这两个结果后，使用IOU筛选算法查找ITFD中未在YOLO Net中检测到的小气泡。所设计的检测器对小气泡的检测效果较好，能够准确分割出破碎、碰撞、合并的气泡。同时，提取输出边界框的面积和纵横比，对每帧的气泡大小进行聚类分析。在跟踪系统中，根据检测结果，设计最大IOU分数匹配算法，在相邻帧中找到相同的气泡。此外，根据IOU匹配的结果，可以获得气泡的行为。
网络训练过程：
ITFD方法
本文的ITFD方法基于经典的三帧差分法，ITFD结果如图9所示。图9 (a)为处理前的原始图像，图9 (b)为三帧差分法处理后的图像，图9 (c）为ITFD方法处理后的图像，最后图9 (d)为ITFD检测结果。经典的三帧差分法的主要步骤是从当前帧图像减去前一帧图像得到第一帧差分图像，从后一帧图像减去当前帧图像得到第二帧差分图像。然后，用阈值算法对这两幅差值图像进行分割。最后，对分割后的两幅图像进行AND运算，得到图9 (b)所示图像。通过上述处理，对第二帧差图像进行增强，提高其亮度和对比度。然后，使用Canny边缘检测算法获得第二帧差分图像中目标的边缘图像。此外，ITFD方法将基于高斯混合模型的背景相减应用于经过中值滤波平滑的当前帧图像，对当前帧图像的前景和背景进行分割，得到前景图像。通过OR运算，将三帧差分处理后的图像、边缘图像和前景图像用ITFD方法进行收敛，如图9 (c）所示。最后，根据目标的轮廓信息对气泡进行定位，并标记气泡的边界框，如图9 (d)所示。
结果展示
破碎气泡和碰撞气泡数量：
不同流速下不同大小气泡的x、y方向的速度：
指定流速下不同大小气泡的无量纲数：
气泡破裂：
原文中还有气泡合并、碰撞
结论
本文提出了一种新的气泡识别和跟踪方法，用于获取气泡的位置、速度和Re、We、Fr等无量纲数。该方法基于图像处理技术和智能算法，具有良好的气泡识别能力。例如，在PHE通道中密集气泡多的情况下，气泡识别和跟踪的平均准确率达到94%以上，召回率达到87%以上，f1得分达到0.91。结果表明，由于凹窝结构所引发的涡，气泡的速度会发生变化。随着液体流速的增加，小气泡的数量也急剧增加，而中、大气泡的数量增加缓慢。当Q L = 4.2 L/min， ε = 7%时，整个气泡的等效雷诺数Re eq s在0---900之间，而介质气泡的等效雷诺数Reeq s更为平均。大多数气泡的We和Fr值都小于1。综上所述，该方法可以全面地用于研究单个气泡的破裂、合并和碰撞等行为。