【Transformer】Transformer and BERT(1)

文章目录

太...完整了!同济大佬唐宇迪博士终于把【Transformer】入门到精通全套课程分享出来了,最新前沿方向

学习笔记

Transformer

无法并行,层数比较少


词向量生成之后,不会变,没有结合语境信息的情况下,存在一词多义,无法处理

词如何编码成向量


第一句话中,it 和 animal 的相应最高

内积,正交的话内积为0,越相近(相关),内积越大


d k \sqrt{d_k} dk 的目的,向量维度越大,内积也越大, d k \sqrt{d_k} dk 起到 scale 的作用

对于每个输入 x1 ... xn, 计算一样的,可以并行为一个矩阵乘法

多头类比多个卷积核,来提取多种特征



不同的头得到的特征表达也不相同

多头包含在了 self-attention 中了

引入位置编码,形式有很多,比如 one-hot,原文中作者使用的是周期性信号进行编码

layer normalization 和 residual structure


encoder-decoder attention,encoder 的 K,V,decoder 的 Q

mask 机制:以翻译为例,不能透答案了,翻译到 I am a 的时候,student 要被 mask 起来,只能计算 I am a 的注意力

不能用后面未知的结果当成已知的条件

BERT


语料

预测出 mask,来训练提升特征编码能力


end-to-end 的形式,词编码表达和 task 一起训练


答案 d2->d3

相关推荐
Soari11 小时前
大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图
transformer·大语言模型·tsn·rlhf·指令微调
哈尔滨张谦蛋16 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5631 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
汤姆宝库1 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi1 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
β添砖java2 天前
Transformer大白话学习笔记
笔记·学习·transformer
AI小怪兽2 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
罗西的思考2 天前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
tellmewhoisi3 天前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵