我们梳理了近期发表的与CNN+Transformer前沿创新思路有关的21篇论文汇总,包含CVPR、AAAI、NeurIPS、WACV等顶会顶刊成果,旨在帮助读者快速洞察学界发展脉络与最新动态。
RepViT: Revisiting Mobile CNN From ViT Perspective
内容:

本文以MobileNetV3‑L为基础,从ViT视角借鉴轻量Transformer的MetaFormer架构思想,从模块、宏观、微观多个层面逐步对其进行现代化改造,借助结构重参数化技术构建出分离token mixer与channel mixer的RepViT模块,同时调整扩展比例与网络宽度,优化stem、下采样层、分类器、各阶段模块数量配比,统一采用3×3卷积并设计隔块使用SE注意力的策略,得到一套纯卷积的轻量化RepViT模型家族,以iPhone设备的实际推理延迟作为核心评测指标,并将RepViT作为图像编码器嵌入SAM得到RepViT‑SAM,在图像分类、检测、分割等任务开展充分实验验证模型性能与部署优势。
VMFormer: End-to-End Video Matting with Transformer
内容:

本文提出端到端无trimap的Transformer视频抠图模型VMFormer,该模型分为特征建模与查询建模双分支,特征建模分支依托CNN骨干提取视频特征,经由Transformer编码器完成特征序列全局建模,并引入基于循环聚合的SFTM模块实现帧间短距离时序建模,查询建模分支借助Transformer解码器的交叉注意力让可学习查询与特征序列交互,同时设计计算开销更低的LQTM模块对查询做长距离时序建模,最后将查询与对应帧特征图做矩阵乘法输出alpha遮罩,训练阶段结合焦点损失、Dice损失与时序一致性损失联合优化,在合成数据集上开展多分辨率实验与消融验证,在保持实时推理速度的前提下取得优于主流CNN视频抠图方法的效果。
BIOT: Biosignal Transformer for Cross-data Learning in the Wild
内容:

本文提出BIOT生物信号Transformer框架,面向真实场景下生物信号通道不匹配、长度可变、存在缺失值的跨数据集学习难题,先对原始信号做重采样与归一化预处理,将每个通道切分为带重叠的固定长度片段并转化为统一的生物信号句子序列,结合FFT得到分段嵌入,叠加通道嵌入与相对位置嵌入保留时空信息,采用线性复杂度Transformer编码器建模token间关联,支持多源生物信号联合预训练并在下游任务微调,在脑电图、心电图与人体传感信号数据集上开展实验验证该模型跨数据集泛化能力。
Learned Image Compression with Mixed Transformer-CNN Architectures
内容:

本文面向学习型图像压缩,提出复杂度可控的并行Transformer‑CNN混合TCM模块,将特征通道拆分后分别经由CNN残差分支提取局部信息、Swin‑Transformer分支捕获非全局依赖再融合,把TCM模块部署到VAE架构的编解码器与超先验路径,同时设计带有通道压缩操作、参数高效的SWAtten模块嵌入通道自回归熵模型,还将切片数量从10缩减至5来平衡速度与率失真性能,整体采用率失真损失完成模型优化,在Kodak、Tecnick、CLIC多分辨率数据集开展实验与消融验证,取得优于现有方法的率失真表现。