2026年CNN与Transformer融合的创新点思路

我们梳理了近期发表的与CNN+Transformer前沿创新思路有关的21篇论文汇总,包含CVPR、AAAI、NeurIPS、WACV等顶会顶刊成果,旨在帮助读者快速洞察学界发展脉络与最新动态。

RepViT: Revisiting Mobile CNN From ViT Perspective

内容:

本文以MobileNetV3‑L为基础,从ViT视角借鉴轻量Transformer的MetaFormer架构思想,从模块、宏观、微观多个层面逐步对其进行现代化改造,借助结构重参数化技术构建出分离token mixer与channel mixer的RepViT模块,同时调整扩展比例与网络宽度,优化stem、下采样层、分类器、各阶段模块数量配比,统一采用3×3卷积并设计隔块使用SE注意力的策略,得到一套纯卷积的轻量化RepViT模型家族,以iPhone设备的实际推理延迟作为核心评测指标,并将RepViT作为图像编码器嵌入SAM得到RepViT‑SAM,在图像分类、检测、分割等任务开展充分实验验证模型性能与部署优势。

VMFormer: End-to-End Video Matting with Transformer

内容:

本文提出端到端无trimap的Transformer视频抠图模型VMFormer,该模型分为特征建模与查询建模双分支,特征建模分支依托CNN骨干提取视频特征,经由Transformer编码器完成特征序列全局建模,并引入基于循环聚合的SFTM模块实现帧间短距离时序建模,查询建模分支借助Transformer解码器的交叉注意力让可学习查询与特征序列交互,同时设计计算开销更低的LQTM模块对查询做长距离时序建模,最后将查询与对应帧特征图做矩阵乘法输出alpha遮罩,训练阶段结合焦点损失、Dice损失与时序一致性损失联合优化,在合成数据集上开展多分辨率实验与消融验证,在保持实时推理速度的前提下取得优于主流CNN视频抠图方法的效果。

BIOT: Biosignal Transformer for Cross-data Learning in the Wild

内容:

本文提出BIOT生物信号Transformer框架,面向真实场景下生物信号通道不匹配、长度可变、存在缺失值的跨数据集学习难题,先对原始信号做重采样与归一化预处理,将每个通道切分为带重叠的固定长度片段并转化为统一的生物信号句子序列,结合FFT得到分段嵌入,叠加通道嵌入与相对位置嵌入保留时空信息,采用线性复杂度Transformer编码器建模token间关联,支持多源生物信号联合预训练并在下游任务微调,在脑电图、心电图与人体传感信号数据集上开展实验验证该模型跨数据集泛化能力。

Learned Image Compression with Mixed Transformer-CNN Architectures

内容:

本文面向学习型图像压缩,提出复杂度可控的并行Transformer‑CNN混合TCM模块,将特征通道拆分后分别经由CNN残差分支提取局部信息、Swin‑Transformer分支捕获非全局依赖再融合,把TCM模块部署到VAE架构的编解码器与超先验路径,同时设计带有通道压缩操作、参数高效的SWAtten模块嵌入通道自回归熵模型,还将切片数量从10缩减至5来平衡速度与率失真性能,整体采用率失真损失完成模型优化,在Kodak、Tecnick、CLIC多分辨率数据集开展实验与消融验证,取得优于现有方法的率失真表现。

相关推荐
硅谷秋水18 分钟前
PhysicalWords:一种用于构建机器人操作中潜推理过程的词汇体系
人工智能·机器学习·计算机视觉·语言模型·机器人
喵个咪39 分钟前
GoWind 拆解:AI Agent 编排引擎——波次并行、子图递归与人工审批
人工智能·后端·go
ZzT2 小时前
AI 是放大器:基础越扎实,放大效果越明显
人工智能·ai编程
喵个咪2 小时前
GoWind Admin 拆解:AI 能力层——工具循环、pgvector 知识库与机器凭证
人工智能·后端·agent
老金带你玩AI2 小时前
10秒出4K,MiniMax还开源了!H3 Image上线!
人工智能
mantou1322 小时前
只用 Cloudflare 全家桶,给游戏站做一个 RAG 搜索和问答
人工智能·llm
AI前端工程狮2 小时前
服务端已经死了,客户端却报"超时"
人工智能·程序员
阿屿2 小时前
从零手搓 AI 伴侣(二):好感度通胀危机,与它的「货币政策」
java·人工智能
师夷长技以自愈2 小时前
第 2 篇:AI 点菜,程序端菜——第一次学会"工具调用"
人工智能
数据集_深度学习2 小时前
果园红绿苹果目标检测数据集介绍和论文参考
人工智能·目标检测