transformer 最简单学习3, 训练文本数据输入的形式

1、输入数据中,源数据和目标数据的定义

cpp 复制代码
def get_batch(source,i):
    '''
    
    用于获取每个批数据合理大小的源数据和目标数据
    参数source 是通过batchfy   得到的划分batch个 ,的所有数据,并且转置列表示
    i第几个batch
    '''
    bptt = 15  #超参数,一次输入多少个batch 数据,现在数据矩阵,一行表示一个batch, 一共有n个行,  

    # len(source) - 1 - i  从大往小变化,知道小到bptt,所以seq_len,大部分时间都是bptt 个=15个,最后几个训练才越来越少
    seq_len = min(bptt, len(source) -1-i)  #一共是列的元素长度,30个,  行是10个,一共三个batch ,
    # 这是转置过的,现在,就变成30个batch,每个batch 长度是3
    
    # 行数错一位,目标数据是原数据向下一位,
    data = source[i:i+seq_len]
    # 这里最后会越界,使用view(-1) 保证形状正常
    target = source[i+1:i+1+seq_len]
    return data,target #

文本数据,是每个单词对应的索引,需要对数据进行切分成整块的batch, (n行,batch列), 变成竖着的,

(batch行,n列)

然后,横着一个一个 切分成一个个batch数据,下移一个索引获取目标数据,

(n行,batch列)

cpp 复制代码
【 
     [A,B,C,D,E,F]
     [G,H,I,J,K,L]
     [M,N,O,P,Q,R],
     ......
 】

(batch行,n列)

横着看,每一位 AGMS 对应 BHNT, AB, GH, MN, ST, 是相邻的两个字

相关推荐
Xudde.15 小时前
班级作业笔记报告0x06
笔记·学习·安全·web安全
kingcjh9715 小时前
2.1 vLLM-Omni + Wan2.1-T2V-1.3B测试数据
深度学习
不早睡不改名@15 小时前
Netty源码解析---FastThreadLocal-addToVariablesToRemove方法详解
java·网络·笔记·学习·netty
CDA数据分析师干货分享15 小时前
【访谈】食品专业转行数据分析师,CDA数据分析师二级备考经验
学习·信息可视化·数据分析·cda证书·cda数据分析师
猿汁猿味yyds16 小时前
java学习day-15 集合、ArrayList集合
学习
专业发呆业余科研16 小时前
从“炼金术”到“建筑学”:深度学习结构设计的五大范式
人工智能·深度学习·神经网络·机器学习
剑穗挂着新流苏31216 小时前
208_深度学习的鲁棒性之美:暂退法(Dropout)原理与实战
开发语言·pytorch·python·深度学习
solicitous16 小时前
遇到一个口头机遇的答辩准备4(ai给的术语清单)
学习·生活
Chef_Chen16 小时前
Agent学习--RAG(1)
学习·rag
数智工坊16 小时前
【深度学习基础】Focal Loss、Dice Loss、组合损失函数
人工智能·深度学习