TransFormer 视频笔记

TransFormer

Basics

接受一段文本,输出一个单词。

token -> (Embeding)-> high dimensional vector. 方向对应语义

​​​​​​​​​​​​

最初的向量也包含位置信息。1万多维。

Attention

除以dk 是为了数值稳定

将上下文的信息传给当前token。

attention机制给最初的generic embedding加个向量,将其移动到上下文对应的具体方向上。

Attention不仅精细化了嵌入向量的定义,还能将嵌入向量的信息传给其他的向量。

经过多层attention后,预测下一个token的计算过程完全取决于最后一个向量。

单头注意力 single head attention

Q: query 查寻矩阵 128*12288

WQ 将E(嵌入向量)映射低维空间中。Q是128*1

K key matrix 128*12288

Key矩阵同样将嵌入向量映射到低维空间中,得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关),就能认为他们匹配。

SoftMax 归一

Masking: 在训练时,不能提前知道答案,后级的信息不能传递给前级。为了避免后级token对前级的影响,将下半边矩阵设为-∞。

该pattern表明每个词与其他哪些词相关

Value matrix 12288*12288


MLP


相关推荐
雨白3 小时前
单例设计模式:从 Java/Kotlin 实现到 Android 实战
android
一条破秋裤6 小时前
【1115】【多线程】【笔记】
前端·chrome·笔记
神明不懂浪漫7 小时前
【第八章】多线程(一)
java·开发语言·经验分享·笔记
hai_android8 小时前
一行 asLiveData,背后是一座生命周期的桥
android·java·kotlin
高洁018 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
阿杰m9 小时前
Android源码第二十三章:Telephony、RIL 与 IMS——来电怎么到应用?
android
星恒随风9 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
booboosui9 小时前
没人认领 .md:安卓把报告交给了音乐播放器打开
android
蒸蒸yyyyzwd9 小时前
秋招操作系统错题本
笔记·八股
星恒随风9 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql