利用GPU进行训练

文章目录

一、GPU训练模型

GPU只能够训练三种变量,分别是:

网络模型
数据(输入,标注targets)
损失函数

使用方式是.cuda()

除了以上的三种,在别的地方是引用不上cuda的。

使用方式:

1.网络模型

bash 复制代码
#创建网络模型
class Sen(nn.Module):
    def __init__(self):
        super(Sen, self).__init__()
        self.model = nn.Sequential(
            nn.Conv2d(3, 32, 5, 1, 2),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 32, 5, 1 ,2),
            nn.MaxPool2d(2),
            nn.Conv2d(32, 64, 5, 1, 2),
            nn.MaxPool2d(2),
            nn.Flatten(),
            nn.Linear(64*4*4, 64),
            nn.Linear(64, 10)
        )
    def forward(self,x):
        x = self.model(x)
        return x
sen = Sen()
sen.cuda()

2、损失函数

bash 复制代码
#损失函数
loss_fn = nn.CrossEntropyLoss()
loss_fn = loss_fn.cuda()

3、数据

bash 复制代码
    for data in train_dataloader:
        imgs, targets = data
        imgs = imgs.cuda()
        targets = targets.cuda()
        outputs = sen(imgs)
        loss = loss_fn(outputs, targets)

如果电脑上没有GPU的话,以上这么写会发生报错,更好的写法应该是加上if判断是否有GPU

例下:

bash 复制代码
if torch.cuda.is_available():
    sen.cuda()
bash 复制代码
if torch.cuda.is_available():
	loss_fn = loss_fn.cuda()
bash 复制代码
if torch.cuda.is_available():
  imgs = imgs.cuda()
  targets = targets.cuda()

这样可以保证有gpu先试用gpu,没有gpu也能够正常运行。

二、对比使用gpu和cpu进行训练所花费的时间

引入记录时间函数:

bash 复制代码
import time
bash 复制代码
start_time = time.time()
bash 复制代码
end_time = time.time()
bash 复制代码
print(f"使用gpu训练使用的时间{end_time - start_time}")

在模型训练开始与结束时候分别记录start_time和end_time:

bash 复制代码
start_time = time.time()
for i in range(epoch):
    print(f"-------第{i+1}轮训练开始-------")

    #训练步骤开始
    sen.train()
    for data in train_dataloader:
        imgs, targets = data
        imgs = imgs.cuda()
        targets = targets.cuda()
        outputs = sen(imgs)
        loss = loss_fn(outputs, targets)

        #优化器模型
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_train_step = total_train_step + 1
        if total_train_step % 100 == 0:
            end_time = time.time()
            print(f"使用gpu训练使用的时间{end_time - start_time}")
            print(f"训练次数:{total_train_step},Loss:{loss.item()}")
            writer.add_scalar("train_loss", loss.item(), total_train_step)

1.使用gpu训练结果:

可以看到平均100次只使用1s。

2.使用cpu进行训练结果:

可以看到没训练100次花费时间是7s

因此使用gpu进行训练模型能大大提升算力。

三、GPU训练模型的第二种表达方式

先定义训练的设备:

bash 复制代码
device = torch.device("cpu")

再在变量当中调用

bash 复制代码
sen = Sen()
sen = sen.to(device)
bash 复制代码
#损失函数
loss_fn = nn.CrossEntropyLoss()
loss_fn = loss_fn.to(device)
bash 复制代码
     imgs, targets = data
     imgs = imgs.to(device)
     targets = targets.to(device)

调用gpu只需要改变训练模型即可,变量当中依旧用.to(device):

bash 复制代码
device = torch.device("cuda")

':0'的写法等同于cuda

bash 复制代码
device = torch.device("cuda:0")

如果电脑上有两个不同的gpu,可以用以下调用第二个gpu进行训练

bash 复制代码
device = torch.device("cuda:1")

为了适用于不同环境,可以用以下代码来写:

bash 复制代码
device = torch.device("cuda" if torch.cuda.is_acailable() else "cpu")
相关推荐
美狐美颜SDK开放平台10 分钟前
未来已来:美颜SDK如何通过深度学习实现个性化美颜形象?
人工智能·深度学习·美颜sdk·直播美颜sdk·视频美颜sdk·直播美颜工具·美颜api
花海如潮淹14 分钟前
开源项目管理工具:从协作混乱到高效交付的实战指南
python
秋难降20 分钟前
Python 知识点详解(二)
数据库·python·正则表达式
拓端研究室28 分钟前
专题:2025母婴行业洞察报告|附60+份报告PDF汇总下载
开发语言·人工智能·python
Gq.xxu33 分钟前
RAG实战之dify源码文件解析-pdf文件解析流程
开发语言·python·pdf
Kyln.Wu34 分钟前
【python实用小脚本-131】Python 实现 HTML 到 PDF 转换:解决文档处理痛点的高效工具
python·pdf·html
禺垣34 分钟前
深度学习模型在C++平台的部署
深度学习
JavaEdge在掘金1 小时前
告别“作坊式”开发,CodeBuddy能否成为企业级AI编程的“银弹”?
python
CoovallyAIHub1 小时前
基于YOLOv11的CF-YOLO,如何突破无人机小目标检测?
深度学习·算法·计算机视觉
sohoAPI1 小时前
Flask快速入门
后端·python·flask