【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制。

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
龙腾AI白云8 分钟前
AI检索增强生成(RAG):解决大模型幻觉的核心落地技术
数据库·人工智能·机器学习·知识图谱
云票21 分钟前
企业对接AI合同审查系统的工程实践
人工智能
admin and root37 分钟前
「AI安全篇」实战AntiDebug自动化JS逆向加解密MCP
javascript·人工智能·网络安全·自动化·漏洞挖掘·cnvd·src赏金
智能RPA41 分钟前
智能体自动化平台与主数据管理平台(MDM)对比评测
人工智能·自动化·agent·rpa
跨境小彭1 小时前
Temu拉美站点铺货实操复盘:手动复制痛点与批量自动化解决方案
服务器·人工智能·搜索引擎·自动化·temu电商运营
封印师请假去地球钓鱼1 小时前
边解边变的问题:从“决策依赖“一词出发
人工智能·算法
AI搅拌机2 小时前
ComfyUI管理大师:安全稳定升级+切换指定版本!
人工智能
浅安的邂逅2 小时前
20929-OpenAI 一天踩三脚急刹:暂停前沿训练、叫停 Astra、披露越权访问澳政府网站
人工智能·大模型·ai编程·行业动态·ai日报
Qyr992 小时前
2026-2032直接芯片液冷板市场爆发式增长:AI算力浪潮下的热管理核心赛道
大数据·人工智能
微学AI2 小时前
不让每一步都调用最贵模型:用蓝耘智能路由改造自主式研究 Agent
数据库·人工智能·蓝耘