2026年CNN与Transformer融合的创新点思路

我们梳理了近期发表的与CNN+Transformer前沿创新思路有关的21篇论文汇总,包含CVPR、AAAI、NeurIPS、WACV等顶会顶刊成果,旨在帮助读者快速洞察学界发展脉络与最新动态。

RepViT: Revisiting Mobile CNN From ViT Perspective

内容:

本文以MobileNetV3‑L为基础,从ViT视角借鉴轻量Transformer的MetaFormer架构思想,从模块、宏观、微观多个层面逐步对其进行现代化改造,借助结构重参数化技术构建出分离token mixer与channel mixer的RepViT模块,同时调整扩展比例与网络宽度,优化stem、下采样层、分类器、各阶段模块数量配比,统一采用3×3卷积并设计隔块使用SE注意力的策略,得到一套纯卷积的轻量化RepViT模型家族,以iPhone设备的实际推理延迟作为核心评测指标,并将RepViT作为图像编码器嵌入SAM得到RepViT‑SAM,在图像分类、检测、分割等任务开展充分实验验证模型性能与部署优势。

VMFormer: End-to-End Video Matting with Transformer

内容:

本文提出端到端无trimap的Transformer视频抠图模型VMFormer,该模型分为特征建模与查询建模双分支,特征建模分支依托CNN骨干提取视频特征,经由Transformer编码器完成特征序列全局建模,并引入基于循环聚合的SFTM模块实现帧间短距离时序建模,查询建模分支借助Transformer解码器的交叉注意力让可学习查询与特征序列交互,同时设计计算开销更低的LQTM模块对查询做长距离时序建模,最后将查询与对应帧特征图做矩阵乘法输出alpha遮罩,训练阶段结合焦点损失、Dice损失与时序一致性损失联合优化,在合成数据集上开展多分辨率实验与消融验证,在保持实时推理速度的前提下取得优于主流CNN视频抠图方法的效果。

BIOT: Biosignal Transformer for Cross-data Learning in the Wild

内容:

本文提出BIOT生物信号Transformer框架,面向真实场景下生物信号通道不匹配、长度可变、存在缺失值的跨数据集学习难题,先对原始信号做重采样与归一化预处理,将每个通道切分为带重叠的固定长度片段并转化为统一的生物信号句子序列,结合FFT得到分段嵌入,叠加通道嵌入与相对位置嵌入保留时空信息,采用线性复杂度Transformer编码器建模token间关联,支持多源生物信号联合预训练并在下游任务微调,在脑电图、心电图与人体传感信号数据集上开展实验验证该模型跨数据集泛化能力。

Learned Image Compression with Mixed Transformer-CNN Architectures

内容:

本文面向学习型图像压缩,提出复杂度可控的并行Transformer‑CNN混合TCM模块,将特征通道拆分后分别经由CNN残差分支提取局部信息、Swin‑Transformer分支捕获非全局依赖再融合,把TCM模块部署到VAE架构的编解码器与超先验路径,同时设计带有通道压缩操作、参数高效的SWAtten模块嵌入通道自回归熵模型,还将切片数量从10缩减至5来平衡速度与率失真性能,整体采用率失真损失完成模型优化,在Kodak、Tecnick、CLIC多分辨率数据集开展实验与消融验证,取得优于现有方法的率失真表现。

相关推荐
阿文和她的Key1 小时前
DeepInfer 与 TorchTPU 同日开源:供应商锁定的成本结构正在被重写
网络·人工智能·架构·开源
lucas_AI1 小时前
AI 阅卷的第一道坎:学生涂改的叉,模型读成了答案
人工智能
AI Workforce1 小时前
数据质量:4 层去重 + 黑名单机制——宁可漏杀,不可错杀
大数据·人工智能·ai·架构·prompt
中烟创新1 小时前
中烟创新×某烟草公司 | 企业综合管理平台:从“系统林立”到“一个平台”
人工智能·深度学习·中烟创新
进击的雷神1 小时前
怕 AI Agent 乱删文件?Tank-OS 把它锁进不可变系统
人工智能·ai·api·agent
lucas_AI1 小时前
用 AI 复读公元前 3 世纪的石碑:阿育王铭文从风化岩石直通英译
人工智能
lucas_AI1 小时前
页都塞给模型了,它还是答错:哈工大实测 VLM『拿着证据不用』有多离谱
人工智能
Fxkj8881 小时前
佛山企业做小程序:模板定制与源码定制怎么选?
人工智能·小程序
老鱼说AI1 小时前
卷积神经网络的反向传播细节
人工智能·深度学习·神经网络·机器学习·计算机视觉·cnn·超分辨率重建