【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制。

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
#六脉神剑1 小时前
myBuilder 11 月新版本:AI辅助设计
ide·人工智能·低代码·ai·mybuilder
SJZR1 小时前
图解循环神经网络(RNN)
人工智能·rnn·神经网络
QXWZ_IA1 小时前
测绘单位采购RTK:设备价格、账号年费、售后,用时间轴分权重
网络·人工智能·安全
kaixin_啊啊2 小时前
【零基础学AI】第 29 章——第一次调用大模型 API
人工智能
甲维斯2 小时前
Qwen4 被嘲笑了!国模被啥锁死了?
人工智能
夕阳_醉了2 小时前
Codex 客户端从装好到跑通:第三方 API 接入与配置避坑指南
人工智能·gpt·openai·codex·ai 编程
熟的生菜2 小时前
从零造一个腱绳驱动灵巧手——仿真器篇5:姿势串与手势工程——从文本协议到握拳、OK 与多姿势插值
人工智能
武子康3 小时前
攻击动作做对了,游戏规则就对了吗?H3-World 与三条控制路线的分工
大数据·人工智能·agent
探求虚无3 小时前
用 AI 在 Unity 里做一款 RTS:最难的不是生成代码,而是证明它真的能玩
人工智能·unity·游戏引擎