Transformer

作用:提取特征,把平平无奇的特征,输出为有特点的特征。

考虑全文,更新权重,添加语义信息

整体框架

注意力机制

利用权重更新特征

除以根号dk,消除特征维度对结果的影响

transformer要加位置编码

位置编码

相关推荐
醒了就刷牙19 分钟前
Bottom-Up Attention(借助CNN)
人工智能·神经网络·cnn
虞书欣的626 分钟前
Python小游戏27——飞翔的小鸟
开发语言·人工智能·游戏·pycharm·pygame
chenchihwen29 分钟前
《生成式 AI》课程 第3講 CODE TASK 任务3:自定义任务的机器人
人工智能·机器人
chenchihwen33 分钟前
《生成式 AI》课程 第3講 CODE TASK 任务2:角色扮演的机器人
人工智能·机器人
倔强的石头1061 小时前
AI技术赋能电商行业:创新应用与未来展望
人工智能·ai·电商
sp_fyf_20241 小时前
【大语言模型】ACL2024论文-14 任务:不可能的语言模型
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·数据挖掘
ZHOU_WUYI1 小时前
2. langgraph中的react agent使用 (在react agent添加历史消息)
人工智能·langchain
正义的彬彬侠2 小时前
《PCA 原理推导》18-5线性变换生成的随机变量y_i和y_j的协方差 公式解析
人工智能·机器学习·pca·主成分分析
醒了就刷牙2 小时前
《Self-Supervised MultiModal Versatile Networks》简要
人工智能·深度学习·学习·计算机视觉