TransFormer 视频笔记

TransFormer

Basics

接受一段文本,输出一个单词。

token -> (Embeding)-> high dimensional vector. 方向对应语义

​​​​​​​​​​​​

最初的向量也包含位置信息。1万多维。

Attention

除以dk 是为了数值稳定

将上下文的信息传给当前token。

attention机制给最初的generic embedding加个向量,将其移动到上下文对应的具体方向上。

Attention不仅精细化了嵌入向量的定义,还能将嵌入向量的信息传给其他的向量。

经过多层attention后,预测下一个token的计算过程完全取决于最后一个向量。

单头注意力 single head attention

Q: query 查寻矩阵 128*12288

WQ 将E(嵌入向量)映射低维空间中。Q是128*1

K key matrix 128*12288

Key矩阵同样将嵌入向量映射到低维空间中,得到第二个向量序列。当key与query的方向一致时(两个向量的点积越大越相关),就能认为他们匹配。

SoftMax 归一

Masking: 在训练时,不能提前知道答案,后级的信息不能传递给前级。为了避免后级token对前级的影响,将下半边矩阵设为-∞。

该pattern表明每个词与其他哪些词相关

Value matrix 12288*12288


MLP


相关推荐
alexhilton21 分钟前
MVI 让屏幕一次只有一个状态
android·kotlin·android jetpack
小七在进步4 小时前
string的实现(1)
c++·笔记·visual studio
二流小码农6 小时前
鸿蒙开发:证书只能创建3个,第4个应用怎么办
android·ios·harmonyos
保利威视频SaaS小张7 小时前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv
阿杰m8 小时前
Android源码第十七章:PowerManager 与后台任务——锁屏后怎么跑?
android
JMchen1238 小时前
【Android 性能优化实战 60 讲】10 Jetpack App Startup 内核魔改:手写异步懒加载启动框架,根治串行初始化耗时
android·性能优化·源码分析·启动优化·kotlin协程·app startup
2601_967980118 小时前
python+appium自动化测试如何控制App的启动和退出
android·自动化测试·python·appium·设备调试
lcj25119 小时前
[C++] C++11
开发语言·c++·笔记
booboosui9 小时前
不写安装器:点一下就往对话里塞 152 个字符
android
一条破秋裤10 小时前
【1117】【内存资源管控】【笔记】
android·笔记