论深度学习训练过程中数据集打乱的重要性

浅浅记录一下今天遇到的一个很有意思的问题:

今天在重新训练一个之前跑过的模型时候,突然发现训练损失一直居高不下,一直保持在0.6左右,就感觉很奇怪,为什么之前训练的时候没有问题,之前训练的时候loss是正常下降的,为什么今天重新把代码拉出来跑的时候,就出现loss不下降的问题呢?带着这个问题,我就狠狠调试,发现代码逻辑啥的都没有问题,为此调试了一整天,然后刚刚坐在实验室的时候,突然想着要不把中间结果输出看看,然后我就单独挑了几例数据训练一下,结果一看,发现我的每一个epoch加载的数据顺序是一样的,也就是说,我的DataLoader中的shuffle这个参数是False,按理来说,shuffle设置为False,也就是数据集的加载顺序不变,这应该不会影响模型的训练,确实,对于自然图像来说,由于训练集中的每张图像都是独立,所以即使数据集的加载顺序不变,也不影响模型的训练,但是,由于我研究的领域是医学图像,主要是脑肿瘤的MRI图像,一般MRI图像都是3D数据,我会把这个3D数据中沿着轴向面提取slice,这样一来,数据集之间是有内在关联的,即前后两张图片是极为相似的,所以如果此时再将shuffle设置为False的话,就会严重影响模型的训练,在我将shuffle改为True后,我的模型有可以正常训练了!

目前以上说法只是我对于这个问题的一个猜想,不确定是否正确,但是实验观察的现象确实是将shuffle改为True以后,模型就可以正常训练了。

相关推荐
泯泷2 分钟前
像项目经理一样指挥 AI 团队:管理者模式
人工智能·llm·agent
京东云开发者12 分钟前
双11囤Token火了:京东搜索量暴涨7倍,AI生产力成新刚需
人工智能
ahccqw29 分钟前
OpenCV 车辆数量统计
人工智能·opencv·计算机视觉
人工智能AI技术1 小时前
LangGraph 本地 build 频频翻车,最终在服务器跑通流式对话
人工智能
Flynn Liang1 小时前
同一需求三套写法:用 Spring AI、LangChain4j、AgentScope Java 各实现一个带工具调用的 RAG 助手(实战对比)
java·人工智能·大模型·架构设计·spring ai·langchain4j·agentscope
汤姆宝库1 小时前
构建一个能用的RAG系统:切块、嵌入、混合检索与融合排序
人工智能
Dawson Zhu1 小时前
【LLM推理与Serving⑪】MoE推理与MLA:DeepSeek-V3架构下的显存与通信权衡
人工智能·语言模型·架构·aigc·agi
github_is_geeksKai2 小时前
50 个 AI 与开源工具怎么选:从实际用途到实现边界
人工智能
IT_陈寒2 小时前
Vite的HMR把我整不会了:一个生产环境的热更新坑
前端·人工智能·后端
github_is_geeksKai2 小时前
浏览器 AI 小工具怎么选?40 个项目与 5 类商业任务的参考指南
人工智能