【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
X Chow2 分钟前
用 NotebookLM 高效阅读文献与撰写综述:从入门到精通的完整指南
人工智能
yanwei20202 分钟前
NinChat:构建 AI 时代的实时新闻搜索基础设施
人工智能·ai agent·openclaw·hermes·meilishard·热点新闻聚合
小开_ALSKai10 分钟前
Obsidian 最强的 AI 功能,就是它没有 AI 功能
人工智能·agent
_codemonster11 分钟前
从零手搓大模型(五)把 GPT 微调成垃圾信息分类器
人工智能·gpt·机器学习
郭泽斌之心14 分钟前
不买 Trading Central,自己做一套交易信号引擎:MA/BB/Pivot/ATR + 集中采集架构
人工智能·深度学习·ea·mt5·fay数字人·easydeal
想会飞的蒲公英16 分钟前
一个 PyTorch 模型训练的完整流程
人工智能·pytorch·python
Lucky_luckyZzz21 分钟前
销售会话分析设备选型:成熟方案实测红榜与避坑指南
人工智能
c_lb728829 分钟前
最新AI量化练习,小策略更适合练流程感
人工智能·python
留白_29 分钟前
【决策树】泰坦尼克号生存预测
算法·决策树·机器学习
腾讯云大数据31 分钟前
腾讯云TBDS面向AI时代的多模态智算平台,助力企业AI转型
人工智能·云计算·腾讯云·tbds