Transformer

作用:提取特征,把平平无奇的特征,输出为有特点的特征。

考虑全文,更新权重,添加语义信息

整体框架

注意力机制

利用权重更新特征

除以根号dk,消除特征维度对结果的影响

transformer要加位置编码

位置编码

相关推荐
m0_61360701几秒前
小土堆-P3-笔记
pytorch·python·深度学习
十三画者2 分钟前
【文献分享】SpatialZ弥合从平面空间转录组学到三维细胞图谱之间的维度差距
人工智能·数据挖掘·数据分析·数据可视化
一条咸鱼_SaltyFish3 分钟前
[Day13] 微服务架构下的共享基础库设计:contract-common 模块实践
开发语言·人工智能·微服务·云原生·架构·ai编程
童欧巴3 分钟前
DeepSeek V4,定档春节
人工智能·aigc
爱学习的张大5 分钟前
深度学习中稀疏专家模型研究综述 A REVIEW OF SPARSE EXPERT MODELS IN DEEP LEARNING
人工智能·深度学习
爱打代码的小林10 分钟前
CNN 卷积神经网络 (MNIST 手写数字数据集的分类)
人工智能·分类·cnn
川西胖墩墩12 分钟前
游戏NPC的动态决策与情感模拟
人工智能
E_ICEBLUE13 分钟前
零成本实现文档智能:本地化 OCR 提取与 AI 处理全流程实战
人工智能·ocr
乾元14 分钟前
无线定位与链路质量预测——从“知道你在哪”,到“提前知道你会不会掉线”的网络服务化实践
运维·开发语言·人工智能·网络协议·重构·信息与通信
MistaCloud14 分钟前
Pytorch深入浅出(十五)之GPU加速与设备管理
人工智能·pytorch·python·深度学习