【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
勤奋的小懒猪15 分钟前
Halcon应用:相机标定
图像处理·人工智能·计算机视觉
脑极体16 分钟前
寻找AI大模型时代的存力破壁人:华为的行与思
人工智能·华为
loriby16 分钟前
卷积神经网络:视觉炼金术士的数学魔法
人工智能·神经网络·cnn
MorleyOlsen17 分钟前
【数字图像处理】机器视觉(1)
人工智能·计算机视觉
COOCC117 分钟前
PyTorch 实战:Transformer 模型搭建全解析
人工智能·pytorch·python·深度学习·神经网络·目标检测·transformer
喜欢吃豆22 分钟前
如何调用大语言模型的API?
人工智能·语言模型·自然语言处理
Dovis(誓平步青云)35 分钟前
Cephalon端脑云:神经形态计算+边缘AI·重定义云端算力
图像处理·人工智能·学习·云原生·ai作画·边缘计算·机器翻译
www_pp_1 小时前
# 利用迁移学习优化食物分类模型:基于ResNet18的实践
人工智能·深度学习·迁移学习
亚马逊云开发者1 小时前
基于 Amazon Nova 和 TEN 框架的实时音视频交互解决方案
人工智能
听风吹等浪起1 小时前
改进系列(9):基于VisionTransformer+InceptionDW+Focal_loss改进实现的遥感地面目标识别
人工智能·计算机视觉·目标跟踪