swintransformer

打不了嗝 ᥬ᭄2 小时前
深度学习·计算机视觉·自注意力机制·swintransformer
Swin Transformer 详解:窗口注意力如何成为新一代视觉 backboneViT 把图像切成 patch 直接做全局自注意力,效果虽好,但序列长度随分辨率平方增长,高分辨率场景根本算不动,而且全程单一分辨率的特征对检测、分割这类密集预测任务并不友好。Swin Transformer(微软亚洲研究院,2021)用两个设计回答了这个问题:窗口内注意力控制计算量,移位窗口(Shifted Window)补上窗口间的信息交互,再配合分层下采样搭出金字塔特征。这篇文章沿着数据在 Swin 里的流动顺序,从 Patch Embedding 一路讲到 Patch Merging,把每一步的张
好好学仿真5 个月前
机器学习·信号处理·迁移学习·swintransformer·轴承故障诊断·深度可分离卷积·gam注意力
【故障诊断】DSCNN-HA-TL:融合Swin窗口注意力和全局注意力机制的变工况轴承故障诊断(迁移学习/小样本)在工业旋转机械中,滚动轴承是最关键、也最容易发生故障的部件之一。然而,变工况、故障样本稀缺、跨域泛化能力差三大难题,长期制约着故障诊断模型的落地效果。
紫雾凌寒2 年前
人工智能·深度学习·计算机视觉·transformer·vit·swintransformer·视频理解
计算机视觉|Swin Transformer:视觉 Transformer 的新方向在计算机视觉领域的发展历程中,卷积神经网络(CNN) 长期占据主导地位。从早期的 LeNet 到后来的 AlexNet、VGGNet、ResNet 等,CNN 在图像分类、目标检测、语义分割等任务中取得了显著成果。然而,CNN 在捕捉全局信息和处理长距离依赖关系方面存在局限性。与此同时,Transformer Architektur 在自然语言处理(NLP)领域表现出色,凭借自注意力机制有效捕捉序列数据中的长距离依赖关系,例如 GPT 系列模型在语言生成和问答系统中的成功应用。
会害羞的杨卓越3 年前
人工智能·pytorch·深度学习·计算机视觉·transformer·swintransformer
Transformer实战-系列教程11:SwinTransformer 源码解读4(WindowAttention类)有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码
我是有底线的