技术栈
Transformer以及BERT阅读参考博文
mumukehao
2025-02-14 13:56
Transformer以及BERT阅读参考博文
Transformer学习:
已有博主的讲解特别好了:
李沐:
Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili
知乎:
Transformer模型详解(图解最完整版) - 知乎
个人杂想:
Q K T ∗ V QK^{T}*V QKT∗V中, Q K T QK^T QKT其实可以理解为相似性矩阵S,那么 S ∗ V S*V S∗V其实就相当于相似性矩阵对原始的嵌入加权求和。这感觉就是GAT的一个思想源泉。
残差连接和concat挺重要的
BERT
BERT模型架构详解 - 知乎
李沐:
BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili
文本属性图
上一篇:
时尚搭配助手,深度解析用Keras构建智能穿搭推荐系统
下一篇:
DeepSeek从入门到精通:提示词设计的系统化指南
相关推荐
mumukehao
5 个月前
Pretraining Language Models with Text-Attributed Heterogeneous Graphs
文本属性图
热门推荐
01
Qwen3-Coder 快速上手教程 | Qwen Code + Claude Code
02
vue数据变化但页面不变
03
全球最强模型Grok4,国内已可免费使用!(附教程)
04
KGG转MP3工具|非KGM文件|解密音频
05
sqli-labs 靶场 less-8、9、10 第八关到第十关详解:布尔注入,时间注入
06
扣子开源本地部署教程 丨Coze智能体小白喂饭级指南
07
干翻 Typora!MilkUp:完全免费的桌面端 Markdown 编辑器!
08
【2025.7.18】更新vscode后所有.vue文件template标签后报红的临时解决办法,Vue - Official 插件3.0.2导致
09
ChatGPT Agent 完全使用指南:2025年7月最新功能详解
10
《魔兽世界》提示lua警告的含义及解决方法