【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
larance3 分钟前
机器学习分类和设计原则
人工智能·机器学习·分类
boring_1115 分钟前
AI时代本质的思考
网络·人工智能·智能路由器
红尘炼丹客6 分钟前
论文《LLM-in-Sandbox Elicits General Agentic Intelligence》解析
人工智能·深度学习·大模型·llm-in-sandbox
青主创享阁8 分钟前
玄晶引擎:基于多模态大模型的全流程AI自动化架构设计与落地实践
运维·人工智能·自动化
世优科技虚拟人11 分钟前
从吉祥物“复活”到AI实训:世优科技数字人赋能智慧校园升级
人工智能
jiang_changsheng12 分钟前
comfyui节点插件笔记总结新增加
人工智能·算法·计算机视觉·comfyui
BEOL贝尔科技12 分钟前
通过采集器监测环境的温湿度如果这个采集器连上网络接入云平台会发生什么呢?
网络·人工智能·数据分析
老鱼说AI13 分钟前
论文精读第八期:Quiet-STaR 深度剖析:如何利用并行 Attention 与 REINFORCE 唤醒大模型的“潜意识”?
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理
YF云飞16 分钟前
推荐系统时间分布迁移新突破
人工智能·机器学习
AI街潜水的八角25 分钟前
语义分割实战——基于EGEUNet神经网络印章分割系统2:含训练测试代码和数据集
人工智能·深度学习·神经网络