原文:
一、概述
该研究指出传统的模型引用在医学目标检测上有两个明显问题:
**①.**骨干网络设计之初基本的目的是图像分类,并未考虑目标检测需要的多尺度空间特征感知问题,很难再检测精度和推理效率之间取得平衡。
**②.**医学图像中病灶体积小、与周围正常组织边界模糊,难以构建有足够辨识度的模型。
为了解决上述问题,作者提出了NASSFG模型, 主要贡献包括三项:
**①.**建立了一种能感知空间细节和多尺度语义信息的搜索空间,将CSP块编码为可变基因,利用遗传算法和多目标优化策略,在轻量级约束下进行骨干网络搜索。
**②.**提出一种zero-shot代理模型,从层级特征分布和梯度传播的角度表征模型的表现能力和可训练鞋,只需要一次反向传播就能完成性能评估。
**③.**提出一种融合多尺度空间和频率信息的FAFB,有效的构建病变特征与模糊边界之间的属性差异,引导网络增强对显著区域的观察。
二、方法
模型整体结构如图1所示,该模型以RT-DERT为基础,骨干网络中的CSP块被设计为可变并在多目标优化策略的引导下找到高识别精度和低推理复杂度的帕累托前沿。搜索好的骨干网络会被实例化到RT-DERT中,同时在FAFB的引导下实现高质量检测。

图1.模型整体结构
1.搜索空间
搜索空间主要分为两个部分:基于单元的搜索空间 和基于模块的搜索空间。基于单元的搜索空间以CSP块为基础,如图2(d)所示。
CSP相较于常规的Mobile Block和Res Block而言,在减少特征冗余和增强梯度流方面优势明显,能更好的满足目标检测的需求。其在短接通路采用1x1卷积进行降维,增强表达能力的同时降低计算复杂度,而在特征提取通路同样采用1x1卷积降维,再通过N个Bottle Block进行特征提取,同时多个Bottle Block也可以提供更高的压缩率以减少计算复杂度。

图2.CSP块与常见的CNN模块对比
在编码方面,CSP块的参数被直接映射到定长矢量,编码搜索阶段,CSP块的映射方式如图3所示,可编码内容如下:
① :输入特征通道数,与上一层的输出保持一致。
② :输出特征通道数,与上面的
的范围被设定为
。
③ :CSP块是否执行下采样。
④ :CSP块中堆叠的Bottle Block个数。
⑤ :Bottle Block内部的卷积信道,范围与
一致。

图3. CSP块编码映射
最优结构搜索可以被描述为一个两阶段优化问题。第一阶段中 ,通过评分函数
对候选子网络进行评估并进行排序,这一阶段所有子网络都会被实例化并根据对应的输入进行评估。第二阶段中 ,每个体系结构的评估在模型参数 和浮点运算数的约束下行程一个多目标优化问题,原文中参数的上限被设置为5.5M,浮点运算数上限被设置为18GFlops。
2.Zero-Shot代理
Zero-Shot代理可以加速模型评估,该方法采用++微分熵(differential entory)++来评估网络的表示能力,微分熵的定义如下:
其中为数据集,
为样本数,其中
是标准化处理后的数据。
上式中 为模型本体,使用MSE损失函数。
上面两个式子是体系结构的初始权重向量,另外还定义了网络每层的均值
和方差
,一方便从特征分布的角度分析数据在网络层面的分布特征。
汇总上面式子就可以得到微分熵的表达式:
上式中为模型层数,方差越大表示对输入反应越大,提示表达能力越强;反之方差接近零则表示信息阻塞。
为了进一步结合梯度信息进行模型评估,本文还提出了一个梯度流动的评估方法 ,对于样本而言,损失函数
梯度计算公式可以表述为:
上式中表示第
个通道,基于上式,可以得到平均值
和zero-shot代理参数
:
上式中,为总通道数,梯度流动方差
可以有效的衡量模型的可训练性。最终将微分熵 和梯度流动方差结合得到代理评估模型:
相较于其他Zero-shot方法,该方法更高效,且能联合捕捉模型的表达能力和可训练能力。同时,其不依赖算子,可以同时评估整个模型。
3.融合注意力傅里叶块
融合注意傅里叶块(Fused attention fourier block, FAFB)可以通过整合浅层和深层语义信息来建立显著特征和非显著特征之间差异的模型,该模块被设计来检测边缘模糊的病变。其可以利用高级别特征 的++高频和低频信息++ 以及来自低级别特征 的++局部上下文线索++。整个模块的设计如图4所示。

图4.FAFB模块结构
如图4所示,FAFB模块主要由两个组件:频域融合模块(FFM) 和**频域注意模块(FAM)**组成。FFM使用傅里叶变换从高层特征中提取频率信息,并将其与低层特征融合建立跨域语义关联;FAM则通过高频信息构建局部上下文关系,进一步增强特征表示。
从实现上来说,高层特征 来自骨干网络的P5 ,低层特征 来自骨干网络的P3 。高层特征记作,低层特征记作
。
先通过1x1卷积将通道整合为
,随后使用双线性插值进行上采样使其尺寸与
对齐,再使用FFM增强其特征,可描述为下式:
上式中,FFT和IFFT分别表示傅里叶变换 和逆傅里叶变化 ,是可调整参数,用来控制增强特征与原始特征之间的融合比。在完成了特征增强后,融合特征将由FAM进行统一处理,FAM从公示上就是普通Transformer模块,不再进行赘述。同时FAFB这种还有归一化层LN 和前馈网络FFN,整个模块可以表述为公式: