[智能算法]NASSFG-显著特征指导的医学目标检测NAS

原文:

NASSFG: Neural architecture search with saliency feature guidance for medical image object detectionhttps://www.sciencedirect.com/science/article/abs/pii/S0957417425044173

一、概述

该研究指出传统的模型引用在医学目标检测上有两个明显问题:

**①.**骨干网络设计之初基本的目的是图像分类,并未考虑目标检测需要的多尺度空间特征感知问题,很难再检测精度和推理效率之间取得平衡。

**②.**医学图像中病灶体积小、与周围正常组织边界模糊,难以构建有足够辨识度的模型。

为了解决上述问题,作者提出了NASSFG模型, 主要贡献包括三项:

**①.**建立了一种能感知空间细节和多尺度语义信息的搜索空间,将CSP块编码为可变基因,利用遗传算法和多目标优化策略,在轻量级约束下进行骨干网络搜索。

**②.**提出一种zero-shot代理模型,从层级特征分布和梯度传播的角度表征模型的表现能力和可训练鞋,只需要一次反向传播就能完成性能评估。

**③.**提出一种融合多尺度空间和频率信息的FAFB,有效的构建病变特征与模糊边界之间的属性差异,引导网络增强对显著区域的观察。

二、方法

模型整体结构如图1所示,该模型以RT-DERT为基础,骨干网络中的CSP块被设计为可变并在多目标优化策略的引导下找到高识别精度和低推理复杂度的帕累托前沿。搜索好的骨干网络会被实例化到RT-DERT中,同时在FAFB的引导下实现高质量检测。

图1.模型整体结构

1.搜索空间

搜索空间主要分为两个部分:基于单元的搜索空间基于模块的搜索空间。基于单元的搜索空间以CSP块为基础,如图2(d)所示。

CSP相较于常规的Mobile Block和Res Block而言,在减少特征冗余和增强梯度流方面优势明显,能更好的满足目标检测的需求。其在短接通路采用1x1卷积进行降维,增强表达能力的同时降低计算复杂度,而在特征提取通路同样采用1x1卷积降维,再通过N个Bottle Block进行特征提取,同时多个Bottle Block也可以提供更高的压缩率以减少计算复杂度。

图2.CSP块与常见的CNN模块对比

在编码方面,CSP块的参数被直接映射到定长矢量,编码搜索阶段,CSP块的映射方式如图3所示,可编码内容如下:

:输入特征通道数,与上一层的输出保持一致。

:输出特征通道数,与上面的的范围被设定为

:CSP块是否执行下采样。

:CSP块中堆叠的Bottle Block个数。

:Bottle Block内部的卷积信道,范围与一致。

图3. CSP块编码映射

最优结构搜索可以被描述为一个两阶段优化问题。第一阶段中 ,通过评分函数对候选子网络进行评估并进行排序,这一阶段所有子网络都会被实例化并根据对应的输入进行评估。第二阶段中 ,每个体系结构的评估在模型参数浮点运算数的约束下行程一个多目标优化问题,原文中参数的上限被设置为5.5M,浮点运算数上限被设置为18GFlops。

2.Zero-Shot代理

Zero-Shot代理可以加速模型评估,该方法采用++微分熵(differential entory)++来评估网络的表示能力,微分熵的定义如下:

其中为数据集,为样本数,其中是标准化处理后的数据。

上式中 为模型本体,使用MSE损失函数。

上面两个式子是体系结构的初始权重向量,另外还定义了网络每层的均值和方差,一方便从特征分布的角度分析数据在网络层面的分布特征。

汇总上面式子就可以得到微分熵的表达式:

上式中为模型层数,方差越大表示对输入反应越大,提示表达能力越强;反之方差接近零则表示信息阻塞。

为了进一步结合梯度信息进行模型评估,本文还提出了一个梯度流动的评估方法 ,对于样本而言,损失函数梯度计算公式可以表述为:

上式中表示第个通道,基于上式,可以得到平均值 zero-shot代理参数

上式中,为总通道数,梯度流动方差 可以有效的衡量模型的可训练性。最终将微分熵梯度流动方差结合得到代理评估模型:

相较于其他Zero-shot方法,该方法更高效,且能联合捕捉模型的表达能力和可训练能力。同时,其不依赖算子,可以同时评估整个模型。

3.融合注意力傅里叶块

融合注意傅里叶块(Fused attention fourier block, FAFB)可以通过整合浅层和深层语义信息来建立显著特征和非显著特征之间差异的模型,该模块被设计来检测边缘模糊的病变。其可以利用高级别特征 的++高频和低频信息++ 以及来自低级别特征 的++局部上下文线索++。整个模块的设计如图4所示。

图4.FAFB模块结构

如图4所示,FAFB模块主要由两个组件:频域融合模块(FFM) 和**频域注意模块(FAM)**组成。FFM使用傅里叶变换从高层特征中提取频率信息,并将其与低层特征融合建立跨域语义关联;FAM则通过高频信息构建局部上下文关系,进一步增强特征表示。

从实现上来说,高层特征 来自骨干网络的P5低层特征 来自骨干网络的P3 。高层特征记作,低层特征记作先通过1x1卷积将通道整合为,随后使用双线性插值进行上采样使其尺寸与对齐,再使用FFM增强其特征,可描述为下式:

上式中,FFT和IFFT分别表示傅里叶变换逆傅里叶变化是可调整参数,用来控制增强特征与原始特征之间的融合比。在完成了特征增强后,融合特征将由FAM进行统一处理,FAM从公示上就是普通Transformer模块,不再进行赘述。同时FAFB这种还有归一化层LN前馈网络FFN,整个模块可以表述为公式:

相关推荐
知识分享小能手1 分钟前
深度学习学习教程,从入门到精通,概率与信息论 — 知识点详解(3)
人工智能·深度学习·学习·数据挖掘·概率论
俊哥V5 分钟前
每日 AI 研究简报 · 2026-09-01
人工智能·ai
Wendy不吃榴莲6 分钟前
# AI短剧教程 - 《后西游记》开播后,AI影视为什么更考验“连续讲故事”?
人工智能·笔记·学习·ai·视频
木圭的AI时代指南9 分钟前
AI江湖录①·斩杀线
人工智能·ai
Agudamu116111 分钟前
B站学习视频怎么变笔记:用 Ai好记 + Obsidian 搭建个人知识库的完整教程
人工智能·笔记·学习·音视频
麦豆GEO16 分钟前
GEO优化流量密码:吃透4大用户提问模型,精准拿捏AI自然流量
大数据·人工智能
dh27119877925 分钟前
南京企业AI搜索“可见度之战”:GEO服务商竞合格局与选型逻辑
大数据·人工智能
Dawson Zhu26 分钟前
多Agent系统共享记忆架构:从存储范式到分布式共识的技术剖析
人工智能·语言模型·架构·aigc·agi
小道士写程序31 分钟前
自然语言处理NLP - 第4章 NLP任务地图:先定义输出再挑模型
人工智能
具身AGI34 分钟前
模型懂物理吗?物理AI 物理推理 的新赛点
人工智能·深度学习·计算机视觉