2025年CNN与Transformer融合的创新点思路

CNN+Transformer这类结构其实一直都挺火的,核心在于他们的互补性。因为在一些复杂的AI应用中,单个模型很难同时高效处理多种类型的数据。如果结合CNN在图像处理上的强大能力和Transformer在序列数据处理上的优势,就可以增加模型处理的灵活性,提高计算效率。

这种结构也是非常热门的毕业or小论文选择,刚刚过去的2024年就有相当多顶会顶刊成果,感兴趣的同学们抓紧。目前CNN+Transformer比较常见的创新就是架构设计创新、注意力机制优化、特征融合策略改进、预训练与微调策略创新、特定领域应用...

本文根据这些方向提供15个最新的CNN+Transformer创新点参考,基本都有代码可复现,帮大家节省了查找的时间,有论文需求的同学可无偿获取,希望大家科研顺利哦!

全部论文+开源代码需要的同学看文末

LEFormer: A hybrid CNN-transformer architecture for accurate lake extraction from remote sensing imagery

**方法:**论文提出了一种结合卷积神经网络(CNN)和Transformer的混合架构,用于从遥感图像中准确提取湖泊。SCTNet通过在训练阶段使用transformer语义信息来提高实时语义分割性能,解决了传统双分支方法中计算开销高和推理速度慢的问题,实现了新一代的状态SOTA结果。

创新点:

  • SCTNet 引入了一种创新的单分支架构,能够在不增加推理计算成本的情况下提取高质量的长程语境信息。

  • 提出了 CF-Block 和语义信息对齐模块,帮助 SCTNet 在训练过程中从 transformer 分支捕获丰富的语义信息。

  • 通过将 GFA 中的矩阵乘法替换为逐像素卷积操作,保留了特征图的空间结构,同时降低了推理延迟。

TractGraphFormer: Anatomically Informed Hybrid Graph CNN-Transformer Network for Classification from Diffusion MRI Tractography

**方法:**论文提出了一种名为TractGraphFormer的混合模型,将Graph CNN与Transformer结合,通过整合局部解剖信息和全局特征依赖性提升基于扩散MRI纤维束成像的性别预测性能,通过改进网络结构和实验验证,显著提升了分类性能。

创新点:

  • TractGraphFormer框架结合了Graph CNN和Transformer架构,首次在扩散MRI束流追踪中同时捕获局部解剖关系和全局特征依赖。

  • 提出了一个注意力模块,以解释性别预测任务中的预测性束流。

  • 引入了一个新的组合图,综合考虑了白质(WM)和灰质(GM)信息。

WiTUnet: A U-shaped architecture integrating CNN and Transformer for improved feature alignment and local information fusion

**方法:**论文提出了一个结合卷积神经网络和Transformer的新型网络架构WiTUnet,用于低剂量计算机断层扫描图像的去噪。WiTUnet通过嵌套密集的跳跃路径和窗口化的Transformer结构,改善特征对齐和局部信息融合,显著提升了LDCT图像的去噪效果和图像质量。

创新点:

  • WiTUnet通过引入窗口注意力机制和LiPe模块,实现了在保持低计算开销的同时,显著提升去噪性能。

  • 通过使用局部增强窗口(LeWin)Transformer模块,WiTUnet有效减少了高分辨率特征图中的计算需求,同时在U-net架构中成功应用,提升了图像重建的效果。

  • WiTUnet通过调整特征通道数量(C值),找到了计算效率与去噪效果之间的最佳平衡。

CST-YOLO: A Novel Method for Blood Cell Detection Based on Improved YOLOv7 and CNN-Swin Transformer

**方法:**论文提出了一种名为CST-YOLO的模型,它是基于YOLOv7架构,并通过引入CNN-Swin Transformer模块来增强模型的特征提取能力。此外,还引入了三个其他有用的模块:加权高效层聚合网络(W-ELAN)、多尺度通道分割(MCS)和连接卷积层(CatConv),以提高小目标检测的精度。

创新点:

  • 引入了一种新的小目标检测模型CST-YOLO,通过结合YOLOv7架构和Swin Transformer,首次实现了Transformer与YOLOv7的融合。

  • 引入了加权高效层聚合网络(W-ELAN)、多尺度通道分割(MCS)和拼接卷积层(CatConv)等模块。

关注下方《学姐带你玩AI》🚀🚀🚀

回复"卷结合思路"获取全部方案+开源代码

码字不易,欢迎大家点赞评论收藏

相关推荐
移远通信13 分钟前
2025上海车展 | 移远通信全栈车载智能解决方案重磅亮相,重构“全域智能”出行新范式
人工智能
蹦蹦跳跳真可爱5893 小时前
Python----深度学习(基于深度学习Pytroch簇分类,圆环分类,月牙分类)
人工智能·pytorch·python·深度学习·分类
蚂蚁20145 小时前
卷积神经网络(二)
人工智能·计算机视觉
z_mazin7 小时前
反爬虫机制中的验证码识别:类型、技术难点与应对策略
人工智能·计算机视觉·目标跟踪
lixy5797 小时前
深度学习3.7 softmax回归的简洁实现
人工智能·深度学习·回归
youhebuke2257 小时前
利用deepseek快速生成甘特图
人工智能·甘特图·deepseek
訾博ZiBo8 小时前
AI日报 - 2025年04月26日
人工智能
郭不耐8 小时前
DeepSeek智能时空数据分析(三):专业级地理数据可视化赏析-《杭州市国土空间总体规划(2021-2035年)》
人工智能·信息可视化·数据分析·毕业设计·数据可视化·城市规划
AI军哥8 小时前
MySQL8的安装方法
人工智能·mysql·yolo·机器学习·deepseek
余弦的倒数8 小时前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习