【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗------从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2 如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer 是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:

二、归纳偏置

对特定任务的模型需求,即为"归纳偏置"。

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

在AlphaFold2中就运用了轴向注意力机制

一文看懂 Attention(本质原理+3大优点+5大类型)

相关推荐
zy_destiny4 分钟前
【工业场景】用YOLOv12实现饮料类别识别
人工智能·python·深度学习·yolo·机器学习·计算机视觉·目标跟踪
姚瑞南6 分钟前
从模糊感知到量化评估:构建一个Prompt打分工具
人工智能·自然语言处理·chatgpt·prompt·aigc
机器之心11 分钟前
ICLR 2025 Spotlight | 参数高效微调新范式!上海交大联合上海AI Lab推出参数冗余微调算法
人工智能
机器之心21 分钟前
OpenAI的AI复现论文新基准,Claude拿了第一名
人工智能
骑猪兜风23327 分钟前
没有人知道“他妈的” 智能体到底是什么
人工智能·openai·ai编程
www_pp_28 分钟前
# 实时人脸识别系统:基于 OpenCV 和 Python 的实现
人工智能·python·opencv
果冻人工智能28 分钟前
MCP:让 AI 应用更聪明,只需几分钟
人工智能
人工智能培训咨询叶梓42 分钟前
LLAMAFACTORY:一键优化大型语言模型微调的利器
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·llama factory
果冻人工智能43 分钟前
数学不是你以为的那样 —— 但它决定你在AI时代的命运
人工智能
蓝衣剑客1 小时前
山姆·奥特曼传(二):OpenAI的第一次内斗
人工智能·ai编程