【深度学习】记录为什么没有调用GPU

排查CLIP为什么评测推理没有调用GPU,主要是这个代码:https://github.com/OFA-Sys/Chinese-CLIP/blob/master/cn_clip/eval/extract_features.py

第一次认为:因为model并没有to.cuda()。

但是又发现,model.cuda(args.gpu) # 已经加载到GPU上了。

并且,pytorch中 model.cuda() 和mode.to(cuda) 没有区别。

第二次,还是在P40上启动一下,使用nvidia-smi看看GPU是否被使用了。

以下from GPT-4o,

在使用图像模型提取图片特征时,GPU利用率为0可能是由于多种原因导致的。以下是一些常见的原因和解决方法:

1. 确认使用了GPU

确保你的代码实际上是使用了GPU而不是CPU。以下是一些检查和设置GPU使用的步骤:

  • TensorFlow:

    python 复制代码
    import tensorflow as tf
    print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))
  • PyTorch:

    python 复制代码
    import torch
    print("Is CUDA available: ", torch.cuda.is_available())

2. 确认GPU驱动和CUDA版本

确保你安装了正确版本的GPU驱动和CUDA工具包,并且它们与所使用的深度学习框架兼容。

  • 检查CUDA版本:

    bash 复制代码
    nvcc --version
  • 检查驱动版本:

    bash 复制代码
    nvidia-smi

3. 确认模型和数据在GPU上

确保你的模型和数据都被正确地加载到GPU上。

  • TensorFlow:

    python 复制代码
    with tf.device('/GPU:0'):
        # Your model and data operations
  • PyTorch:

    python 复制代码
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model.to(device)
    inputs = inputs.to(device)

4. 检查批处理大小

如果批处理大小(batch size)太小,GPU利用率可能会很低。尝试增加批处理大小以更好地利用GPU。

5. 确认数据加载器的效率

数据加载器可能成为瓶颈,导致GPU等待数据。确保数据加载器使用了多线程或多进程来加速数据加载。

  • TensorFlow:

    python 复制代码
    dataset = dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)
  • PyTorch:

    python 复制代码
    data_loader = torch.utils.data.DataLoader(dataset, batch_size=32, num_workers=4, pin_memory=True)

6. 确认模型推理代码

确保你在进行特征提取时,模型推理代码没有问题,并且确实在GPU上运行。

7. 确认没有GPU内存不足

如果GPU内存不足,可能会导致程序回退到CPU。使用nvidia-smi查看GPU内存使用情况。

8. 确认GPU没有被其他进程占用

使用nvidia-smi查看当前GPU的使用情况,确保没有其他进程占用GPU资源。

9. 检查框架和库的版本

确保你使用的深度学习框架和相关库是最新版本,因为旧版本可能存在性能问题或不支持某些功能。

10. 检查代码逻辑

确保你的代码逻辑没有问题,特别是数据预处理和模型推理部分。

示例代码

以下是一个简单的示例代码,展示了如何在PyTorch中确保模型和数据在GPU上运行:

python 复制代码
import torch
import torchvision.models as models
from torchvision import transforms
from PIL import Image

# 检查GPU是否可用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 加载预训练模型并将其移动到GPU
model = models.resnet50(pretrained=True)
model = model.to(device)
model.eval()

# 加载并预处理图像
image = Image.open("path_to_image.jpg")
preprocess = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
input_tensor = preprocess(image)
input_batch = input_tensor.unsqueeze(0)  # 创建一个批次

# 将输入数据移动到GPU
input_batch = input_batch.to(device)

# 确保模型在GPU上进行推理
with torch.no_grad():
    output = model(input_batch)

# 提取特征
features = output.cpu().numpy()
print(features)

通过上述步骤和检查,你应该能够找到GPU利用率为0的原因并解决问题。

相关推荐
阿坡RPA14 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499314 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心14 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI16 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c17 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20517 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清18 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh18 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员18 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物18 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技