技术栈
Transformer以及BERT阅读参考博文
mumukehao
2025-02-14 13:56
Transformer以及BERT阅读参考博文
Transformer学习:
已有博主的讲解特别好了:
李沐:
Transformer论文逐段精读【论文精读】_哔哩哔哩_bilibili
知乎:
Transformer模型详解(图解最完整版) - 知乎
个人杂想:
Q K T ∗ V QK^{T}*V QKT∗V中, Q K T QK^T QKT其实可以理解为相似性矩阵S,那么 S ∗ V S*V S∗V其实就相当于相似性矩阵对原始的嵌入加权求和。这感觉就是GAT的一个思想源泉。
残差连接和concat挺重要的
BERT
BERT模型架构详解 - 知乎
李沐:
BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili
文本属性图
上一篇:
时尚搭配助手,深度解析用Keras构建智能穿搭推荐系统
下一篇:
DeepSeek从入门到精通:提示词设计的系统化指南
相关推荐
mumukehao
4 个月前
Pretraining Language Models with Text-Attributed Heterogeneous Graphs
文本属性图
热门推荐
01
Java学习第十五部分——MyBatis
02
GPU 进阶笔记(二):华为昇腾 910B GPU
03
Coze扣子平台完整体验和实践(附国内和国际版对比)
04
基于odoo17的设计模式详解---装饰模式
05
Word粘贴时出现“运行时错误53,文件未找到:MathPage.WLL“的解决方案
06
扣子(coze)实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解
07
集群聊天服务器---MySQL数据库的建立
08
扣子空间的使用教程与大模型技术思考
09
DeepSeek各版本说明与优缺点分析
10
Everything文件检索工具 几秒检索几百G的文件