深度学习(小土堆)


使用transform

加载数据集,查看数据集的属性

将图片转换成tensor类型

python 复制代码
dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])

train_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,transform= dataset_transform,download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,transform= dataset_transform,download=True)

print(test_set[0])

将该数据的数据显示在tensorboard中
Dataloader

python 复制代码
import torchvision
from torch.utils.data import DataLoader

#准备测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)

test_loader = DataLoader(dataset = test_data,batch_size=4,shuffle=True,num_workers=0,drop_last=False)
#测试数据集中第一张图片集
img,target = test_data[0]
print(img.shape)
print(target)

for data in  test_loader:
    imgs,targets = data
    print(imgs.shape)
    print(targets)

出现以上问题,需要将numberworks设置为0

drop_last 当取数据有余数时,是舍去还是保留

python 复制代码
import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

#准备测试数据集
test_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())

test_loader = DataLoader(dataset = test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=True)
#测试数据集中第一张图片集
img,target = test_data[0]
print(img.shape)
print(target)

writer = SummaryWriter("DataLodaer")

#shuffle 为True 两次结果不一样
for epoch in range(2):
    step = 0
    for data in  test_loader:
        imgs,targets = data
        # print(imgs.shape)
        # print(targets)
        writer.add_images("Epoch:{}".format(epoch),imgs,step)
        step = step+1

writer.close()

神经网络

相关推荐
Jamence4 分钟前
多模态大语言模型arxiv论文略读(157)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
巴伦是只猫13 分钟前
【深度学习笔记】2 浅层神经网络
笔记·深度学习·神经网络
DogDaoDao14 分钟前
Rembg开源项目全面解析:从原理到实践应用
人工智能·深度学习·开源·github·图像分割·背景检测·rembg
汀、人工智能27 分钟前
AI-Compass LLM训练框架生态:整合ms-swift、Unsloth、Megatron-LM等核心框架,涵盖全参数/PEFT训练与分布式优化
人工智能·分布式·sft·swift·大模型训练
ATM00628 分钟前
开源AI Agent开发平台Dify源码剖析系列(二)
人工智能·开源·dify·源码剖析
ATM0062 小时前
人机协作系列(四)AI编程的下一个范式革命——看Factory AI如何重构软件工程?
人工智能·大模型·agent·人机协作·人机协同
读创商闻3 小时前
极狐GitLab CEO 柳钢——极狐 GitLab 打造中国企业专属 AI 编程平台,引领编程新潮流
人工智能·gitlab
kailp3 小时前
语言模型玩转3D生成:LLaMA-Mesh开源项目
人工智能·3d·ai·语言模型·llama·gpu算力
marteker3 小时前
弗兰肯斯坦式的人工智能与GTM策略的崩溃
人工智能·搜索引擎
无心水3 小时前
大语言模型零样本情感分析实战:无需机器学习训练,96%准确率实现指南
人工智能·机器学习·语言模型