【报错】服务器 cuda out of memory

RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 0; 23.64 GiB total capacity; 21.55 GiB already allocated; 17.75 MiB free; 21.60 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 23.64 GiB total capacity; 17.64 GiB already allocated; 118.25 MiB free; 19.15 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF翻译这段话
运行时错误:CUDA内存不足。尝试分配 2.00 GiB 的内存(GPU 0;总容量为 23.64 GiB;已分配 17.64 GiB;可用内存为 118.25 MiB;PyTorch 已保留 19.15 GiB 总内存)。如果保留的内存远大于分配的内存,试着设置 `max_split_size_mb` 以避免内存碎片化。有关内存管理和 `PYTORCH_CUDA_ALLOC_CONF` 的更多信息,请参阅文档。

batch size 改小 4→2

硬件跟不上,深度学习真玩不起

无卡启用 V100

有卡启用 V100

相关推荐
道满科技15 分钟前
Function Calling 参数总出错?只修参数就行
linux·windows·python
霸道流氓气质1 小时前
RAG 可观测性与生产监控实战:四层遥测模型、五大仪表盘与 OpenTelemetry 全链路追踪的 Java 生产级实现
java·人工智能·python
ch6233 小时前
《AI 辅助编程实战:从零跑通一个 Excel 报表生成脚本的踩坑与复盘》
人工智能·python
import_random4 小时前
[python]conda和pip(区别和联系2)
python
Aurorar0rua4 小时前
CS50 x 2024 Notes Python - 01
开发语言·python·学习方法
用户6602676118794 小时前
备注接口返回成功,数据库却没变:怎样限定一次修复的范围?
python
Dumbness4 小时前
用 Python + UI Automation 读写微信 PC 版:一个群消息自动回复程序的实现与踩坑
python
艺杯羹4 小时前
Windows跨平台编码地雷全解:从GBK静默崩溃到内核级原子写入防御
人工智能·python·桌面客户端
用户8356290780514 小时前
使用 Python 在 Excel 中识别并高亮重复数据与唯一数据
后端·python
CCblandy4 小时前
Agent 工具调用怎么编排?本机实测:并行只到 2.63 倍,慢的先发省 30ms,CPU 活加 worker 无效
人工智能·后端·python·性能优化