深度学习Tensorflow: CUDA_ERROR_OUT_OF_MEMORY解决办法

目前在用深度学习训练,训练中设置batch size后可以正常跑通,但是在训练一轮save_model时,总出现这个错误,即使我调batch size到1也依旧会报错。

发现是在 调用logger时出现问题。

查询后了解到是因为TensorFlow中的eager_execution默认调用最大GPU(但我的GPU显存不足以满足需求,所以报错)。经过查询,再logger.py调用tf处,加入

python 复制代码
    os.environ["CUDA_VISIBLE_DEVICES"]="1" #选择你使用的GPU
 
    tf.compat.v1.disable_eager_execution() #禁用_eager_execution
    config=tf.compat.v1.ConfigProto()
    config.gpu_options.per_process_gpu_memory_fraction = 0.9 #阈值,TensorFlow 会话在执行时最多占用 90% 的 GPU 显存。
    sess=tf.compat.v1.Session(config=config) # 创建一个 TensorFlow 会话 sess,并传入配置对象 config。这样会话就会按照指定的配置创建和执行。

随后解决问题。

相关推荐
视觉语言导航39 分钟前
兼顾长、短视频任务的无人机具身理解!AirVista-II:面向动态场景语义理解的无人机具身智能体系统
人工智能·无人机·具身智能
墨绿色的摆渡人1 小时前
pytorch小记(二十二):全面解读 PyTorch 的 `torch.cumprod`——累积乘积详解与实战示例
人工智能·pytorch·python
moonsims1 小时前
低空态势感知:基于AI的DAA技术是低空飞行的重要安全保障-机载端&地面端
人工智能·安全
若叶时代1 小时前
数据分析_Python
人工智能·python·数据分析
虾球xz1 小时前
游戏引擎学习第286天:开始解耦实体行为
c++·人工智能·学习·游戏引擎
武子康1 小时前
大语言模型 11 - 从0开始训练GPT 0.25B参数量 MiniMind2 准备数据与训练模型 DPO直接偏好优化
人工智能·gpt·ai·语言模型·自然语言处理
羽凌寒2 小时前
图像对比度调整(局域拉普拉斯滤波)
人工智能·计算机视觉
大模型铲屎官2 小时前
【Python-Day 14】玩转Python字典(上篇):从零开始学习创建、访问与操作
开发语言·人工智能·pytorch·python·深度学习·大模型·字典
一点.点2 小时前
计算机视觉的简单介绍
人工智能·深度学习·计算机视觉
量子-Alex2 小时前
【目标检测】【Transformer】Swin Transformer
人工智能·目标检测·transformer