Pytorch 8

这节课是讲mini_batch数据下载的

python 复制代码
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

第一个类是抽象类,只能继承

第二个可以直接用

python 复制代码
class DiabetesDataset(Dataset):
    def __init__(self, filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
        self.len = xy.shape[0] # shape(多少行,多少列)
        self.x_data = torch.from_numpy(xy[:, :-1])
        self.y_data = torch.from_numpy(xy[:, [-1]])
 
    def __getitem__(self, index):
        return self.x_data[index], self.y_data[index]
 
    def __len__(self):
        return self.len

定义这个类要做两件事,第一件就是让他能下标调用,第二件事可以返回长度

数据下载

python 复制代码
dataset = DiabetesDataset('diabetes.csv')
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=0) 
# 接受四个参数,第一个是接受的,第二个是mini_batch的大小,第三是是否随机,第四是分为几个线程来下载数据

神经网络

python 复制代码
if __name__ == '__main__':
    for epoch in range(100):
        for i, data in enumerate(train_loader, 0): # train_loader 是先shuffle后mini_batch
            inputs, labels = data
            y_pred = model(inputs)
            loss = criterion(y_pred, labels)
            print(epoch, i, loss.item())
 
            optimizer.zero_grad()
            loss.backward()
 
            optimizer.step()

放在if里面是因为在windows系统里面会出错,i是下标

相关推荐
User_芊芊君子11 分钟前
【JavaSE】复习总结
java·开发语言·python
MYZR113 分钟前
瑞萨电子:嵌入式计算与芯片技术的创新引领者
人工智能·核心板·ssd2351
计算机毕业设计木哥13 分钟前
计算机毕业设计 基于Python+Django的医疗数据分析系统
开发语言·hadoop·后端·python·spark·django·课程设计
胡耀超18 分钟前
大模型架构演进全景:从Transformer到下一代智能系统的技术路径(MoE、Mamba/SSM、混合架构)
人工智能·深度学习·ai·架构·大模型·transformer·技术趋势分析
Python×CATIA工业智造19 分钟前
Python索引-值对迭代完全指南:从基础到高性能系统设计
python·pycharm
小杨勇敢飞1 小时前
UNBIASED WATERMARK:大语言模型的无偏差水印
人工智能·语言模型·自然语言处理
Luchang-Li1 小时前
sglang pytorch NCCL hang分析
pytorch·python·nccl
m0_603888711 小时前
Delta Activations A Representation for Finetuned Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
金融小师妹1 小时前
基于哈塞特独立性表态的AI量化研究:美联储政策独立性的多维验证
大数据·人工智能·算法
qinyia2 小时前
Wisdom SSH 是一款创新性工具,通过集成 AI 助手,为服务器性能优化带来极大便利。
服务器·人工智能·ssh