技术栈
交叉注意力
Lee_jerome
14 天前
transformer
·
位置编码
·
前向传播
·
自注意力
·
交叉注意力
·
多头注意力
·
layernorm
python神经网络编程入门（三十八）——从零实现 Transformer 前向传播
📍 路标：本篇位于《从零构建 Transformer》系列 第 9/16 章 · 架构篇。 系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。 进度：▸ 基石篇(1-5) ▸ 架构篇(6-10·本篇) ▸ 预训练篇(11-13) ▸ 实战篇(14-16)
Lee_jerome
19 天前
nlp
·
transformer
·
encoder
·
注意力机制
·
decoder
·
交叉注意力
·
self-attention
python神经网络编程入门（三十五）——Transformer 整体架构——一张图看懂全貌
📍 路标：本篇位于《从零构建 Transformer》系列 第 6/16 章 · 架构篇。 系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。 进度：▸ 基石篇(1-5) ▸ 架构篇(6-10·本篇) ▸ 预训练篇(11-13) ▸ 实战篇(14-16)
会写代码的饭桶
1 年前
transformer
·
注意力机制
·
自注意力
·
交叉注意力
·
多头注意力
Transformers 学习入门：注意力机制剖析
想象你在看一部侦探电影：屏幕上同时出现了凶手的表情、掉落的凶器、背景里的时钟三个信息。你的大脑会自动聚焦在 “凶器” 和 “凶手表情” 上，因为这两个是破案的关键 —— 这就是人类的注意力机制。
deephub
1 年前
人工智能
·
深度学习
·
时间序列
·
mamba
·
交叉注意力
提升长序列建模效率：Mamba+交叉注意力架构完整指南
本文将深入分析Mamba架构中交叉注意力机制的集成方法与技术实现。Mamba作为一种基于选择性状态空间模型的新型序列建模架构，在长序列处理方面展现出显著的计算效率优势。通过引入交叉注意力机制，Mamba能够有效处理多模态信息融合和条件生成任务。本文从理论基础、技术实现、性能分析和应用场景等维度，全面阐述了这一混合架构的技术特点和发展前景。
清晨的光明
2 年前
人工智能
·
深度学习
·
计算机视觉
·
交叉注意力
·
cross attention
CV领域 交叉注意力(Cross Attention)中QKV的含义理解
（1）K=V：图像的全局特征（2）Q：告诉attention需要关注哪些重要特征（1）：Q和K相乘，对应Query和Key进行点积运算，得到的是Query和Key之间的相似性；
我是有底线的