词嵌入位置编码的实现(基于pytorch)

背景介绍

在transformers架构当中,对于词向量的输入需要加上原本词对应的位置信息,作为输入到模型中训练的input,那具体的位置编码如何实现呢?本篇博客就跟大家一起分享一下对应的步骤

位置编码的公式

对于词向量的位置编码的方式有多种,这里就介绍用三角函数进行位置编码的公式

PE是position embeding位置编码的意思,pos表示词的位置,表示词向量的维度,i表示词向量的第i维度

那接下来我们就根据公式进行位置编码的代码实现

代码实现

环境依赖的库

python 复制代码
import torch
import math
import numpy as np
import matplotlib.pyplot as plt

定义一个函数获取位置编码的信息

python 复制代码
def generate_word_embeding(max_len,d_model):
    # 初始化位置信息
    pos = torch.arange(max_len).unsqueeze(1)
    
    # 初始化位置编码矩阵
    result = torch.zeros(max_len,d_model)

    # 获得公式对应的值
    coding = torch.exp(torch.arange(0,d_model,2)*(-math.log(10000.0))/d_model)
    result[:,0::2] = torch.sin(pos*coding)
    result[:,1::2] = torch.cos(pos*coding)

    # 为了与原编码直接相加,格式为[B,seq_len,d_model],需要再增加一个维度
    return result.unsqueeze(0)

假设我们的max_len是100,d_model为20,那么pos的维度为100,1,result的维度为100,20,coding的维度为1,d_model/2,result:,0::2是指对result的每列从第0列开始每隔一列赋值,对应公式中的PE(pos,2i);同理,result:,1::2对应公式中的PE(pos,2i+1)

位置编码信息可视化

我们把得位置编码信息进行可视化从而得到更直观的感受

python 复制代码
d = 6
pos_code = generate_word_embeding(100,d)
print(pos_code.shape)
plt.plot(np.arange(100),pos_code[0,:,0:d])
plt.legend(['dim=%d'%p for p in range(d)])
plt.show()

把词的时序长度设置为6,显示对应时序上每一个维度的位置编码信息

可以看到每一个时序位置上对应每一个维度都对应一个三角函数的变换规律,在放进model中训练的后就能够通过学习获得位置对应的知识

欢迎大家讨论交流~


相关推荐
VIP_CQCRE8 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk5558 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷8 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我9 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁019 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit9 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn10 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄10 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks11 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
锋行天下11 小时前
langgraph 全栈项目(三)
前端·人工智能·后端