pytorch定义datase多次重复采样

有的时候训练需要对样本重复抽样为一个batch,可以按如下格式定义:

bash 复制代码
class TrainLoader(Dataset):
    def __init__(self, fns, repeat=1):
        super(TrainLoader, self).__init__()
        self.length = len(fns) # 数据数量
        self.repeat = repeat # 数据重复次数
    def __getitem__(self, idx):
        idx = idx % self.length 
    def __len__(self):
        return self.length * self.repeat           
相关推荐
大模型最新论文速读1 分钟前
ProFit: 屏蔽低概率 token,解决 SFT 过拟合问题
人工智能·深度学习·机器学习·语言模型·自然语言处理
gc_22997 分钟前
学习python调用dmpython库获取达梦数据库模式信息的基本方式
python·dmpython
cskywit7 分钟前
VMamba环境本地适配配置
人工智能·深度学习·mamba
reasonsummer8 分钟前
【教学类-130-01】20260118对称汉字剪纸28个
python
victory04318 分钟前
minimind SFT失败原因排查和解决办法
人工智能·python·深度学习
逐梦苍穹10 分钟前
世界模型通俗讲解:AI大脑里的“物理模拟器“
人工智能·世界模型
发哥来了14 分钟前
主流AI视频生成工具商用化能力评测:五大关键维度对比分析
大数据·人工智能·音视频
跳跳糖炒酸奶16 分钟前
基于深度学习的单目深度估计综述阅读(1)
人工智能·深度学习·数码相机·单目深度估计
曲幽21 分钟前
Django入门指南:Python Web开发的“瑞士军刀”
python·django·flask·fastapi·web·pythonweb
yangpipi-22 分钟前
第一章 语言模型基础
人工智能·语言模型·自然语言处理