transformer 最简单学习3, 训练文本数据输入的形式

1、输入数据中,源数据和目标数据的定义

cpp 复制代码
def get_batch(source,i):
    '''
    
    用于获取每个批数据合理大小的源数据和目标数据
    参数source 是通过batchfy   得到的划分batch个 ,的所有数据,并且转置列表示
    i第几个batch
    '''
    bptt = 15  #超参数,一次输入多少个batch 数据,现在数据矩阵,一行表示一个batch, 一共有n个行,  

    # len(source) - 1 - i  从大往小变化,知道小到bptt,所以seq_len,大部分时间都是bptt 个=15个,最后几个训练才越来越少
    seq_len = min(bptt, len(source) -1-i)  #一共是列的元素长度,30个,  行是10个,一共三个batch ,
    # 这是转置过的,现在,就变成30个batch,每个batch 长度是3
    
    # 行数错一位,目标数据是原数据向下一位,
    data = source[i:i+seq_len]
    # 这里最后会越界,使用view(-1) 保证形状正常
    target = source[i+1:i+1+seq_len]
    return data,target #

文本数据,是每个单词对应的索引,需要对数据进行切分成整块的batch, (n行,batch列), 变成竖着的,

(batch行,n列)

然后,横着一个一个 切分成一个个batch数据,下移一个索引获取目标数据,

(n行,batch列)

cpp 复制代码
【 
     [A,B,C,D,E,F]
     [G,H,I,J,K,L]
     [M,N,O,P,Q,R],
     ......
 】

(batch行,n列)

横着看,每一位 AGMS 对应 BHNT, AB, GH, MN, ST, 是相邻的两个字

相关推荐
艾莉丝努力练剑1 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
蒸蒸yyyyzwd1 小时前
数据库相关错题笔记
笔记·学习
哈尔滨张谦蛋3 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
蒸蒸yyyyzwd3 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
Hhy_11074 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑4 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
chh56315 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
yiangL_18 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
优化Henry21 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd