Transformer

作用:提取特征,把平平无奇的特征,输出为有特点的特征。

考虑全文,更新权重,添加语义信息

整体框架

注意力机制

利用权重更新特征

除以根号dk,消除特征维度对结果的影响

transformer要加位置编码

位置编码

相关推荐
xier_ran7 分钟前
深度学习:从零开始手搓一个深层神经网络
人工智能·深度学习·神经网络
却道天凉_好个秋8 分钟前
OpenCV(二十六):高斯滤波
人工智能·opencv·计算机视觉
汗流浃背了吧,老弟!17 分钟前
语言模型(Language Model)介绍
人工智能·语言模型·自然语言处理
沫儿笙17 分钟前
IGM焊接机器人节气设备
人工智能·机器人
Vadaski25 分钟前
为什么每个团队都需要一套私有 Context 工程
人工智能
人工智能训练42 分钟前
Docker中容器的备份方法和步骤
linux·运维·人工智能·ubuntu·docker·容器·nvidia
高洁011 小时前
具身智能-8家国内外典型具身智能VLA模型深度解析
深度学习·神经网络·aigc·transformer·知识图谱
渡我白衣1 小时前
深入 Linux 内核启动:从按下电源到用户登录的全景解剖
java·linux·运维·服务器·开发语言·c++·人工智能
甄心爱学习1 小时前
数据挖掘11-分类的高级方法
人工智能·算法·分类·数据挖掘
李昊哲小课1 小时前
wsl ubuntu24.04 cuda13 cudnn9 pytorch 显卡加速
人工智能·pytorch·python·cuda·cudnn