【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
J2虾虾1 分钟前
地理空间概述
人工智能
小妖同学学AI2 分钟前
开源AI语音机器人小智Xiaozhi-ESP32:低成本构建个人智能助理
人工智能·机器人·开源
xjxijd3 分钟前
数据中心能效 AI 引擎:全链数字孪生 + 传热学算法,PUE 稳定 1.05 以下
大数据·服务器·人工智能
天一生水water7 分钟前
语义分割入门
人工智能
小鸡吃米…16 分钟前
AI 与 Python 自然语言处理
人工智能·自然语言处理
spssau17 分钟前
正交试验设计全解析:从正交表生成到极差与方差分析
数据库·算法·机器学习
无心水23 分钟前
【Stable Diffusion 3.5 FP8】8、生产级保障:Stable Diffusion 3.5 FP8 伦理安全与问题排查
人工智能·python·安全·docker·stable diffusion·ai镜像开发·镜像实战开发
小程故事多_8026 分钟前
开源封神!Minion Skills 重构 Claude Skills,解锁 AI Agent 无限能力
人工智能·重构·开源·aigc
minhuan29 分钟前
大模型应用:不减性能只减负担:大模型稀疏化技术全景与实践.36
大数据·人工智能·算法
qq_4308558841 分钟前
线代第三章向量第三节:向量组的秩
人工智能·机器学习