深度学习调参技巧

写完代码---> 小数据上降loss无nan---> 大数据没爆卡速度可以---> 实验log完好可视化loss稳步下降--->回头看实验结果

  • 写完代码后,不要只是在小数据上降loss无nan,还要检查一下模型的输出是否符合预期,比如是否有明显的偏差或者异常值。
  • 大数据 没爆卡速度可以是一个好的指标,但是也要注意模型的泛化能力,比如是否有过拟合或者欠拟合 的现象。你可以使用交叉验证或者早停法来避免过拟合,或者增加模型的复杂度或者数据的多样性来避免欠拟合。
  • 实验log完好可视化loss稳步下降是一个好的习惯,但是也要关注一下其他的评价指标,比如准确率、召回率、F1值等。这些指标可以反映模型在不同方面的性能,比如是否有偏向于某一类别或者某一样本的问题。

关于欠拟合:

欠拟合的现象是指模型在训练集和测试集上都表现不好,即模型的拟合能力不足,无法捕捉数据的真实规律。欠拟合的原因可能有以下几种:

  • 模型的复杂度太低,比如使用线性模型来拟合非线性数据,或者使用过少的神经元或者隐藏层来构建深度学习模型。
  • 数据的质量或者数量不够,比如数据存在噪声、缺失值、异常值等,或者数据的分布不均匀、不具有代表性等。
  • 训练的时间或者次数不够,比如使用过小的学习率或者过大的批次大小来进行梯度下降,或者使用过早的停止条件来终止训练。

欠拟合的现象可以通过以下几种方法来解决:

  • 增加模型的复杂度,比如使用非线性模型来拟合非线性数据,或者使用更多的神经元或者隐藏层来构建深度学习模型。
  • 提高数据的质量或者数量,比如对数据进行清洗、填补、标准化等预处理操作,或者使用数据增强、生成对抗网络等技术来扩充数据集。
  • 延长训练的时间或者次数,比如使用合适的学习率或者批次大小来进行梯度下降,或者使用交叉验证、学习曲线等方法来确定最佳的停止条件。
相关推荐
音视频牛哥3 分钟前
如何在Python下实现摄像头|屏幕|AI视觉算法数据的RTMP直播推送
人工智能·opencv·计算机视觉
SecPulse12 分钟前
AI开源竞赛与硬件革命:2025年3月科技热点全景解读——阿里、腾讯领跑开源,英特尔、台积电重塑算力格局
人工智能·科技·opencv·自然语言处理·开源·语音识别
云端源想15 分钟前
浅谈大语言模型(LLM)的微调与部署
人工智能·语言模型·自然语言处理
瑶光守护者1 小时前
并行计算编程模型的发展方向与RISC-V的机遇
人工智能·笔记·学习·架构·risc-v
初心丨哈士奇2 小时前
基于大模型的GitLab CodeReview 技术调研
前端·人工智能·node.js
Luis Li 的猫猫2 小时前
基于MATLAB的冰块变化仿真
开发语言·图像处理·人工智能·算法·matlab
xiatian_win1232 小时前
本地部署 OpenManus 保姆级教程(Windows 版)
人工智能·windows
蹦蹦跳跳真可爱5892 小时前
Python----计算机视觉处理(opencv:像素,RGB颜色,图像的存储,opencv安装,代码展示)
人工智能·python·opencv·计算机视觉
BIT_Legend3 小时前
Torch 模型 model => .onnx => .trt 及利用 TensorTR 在 C++ 下的模型部署教程
c++·人工智能·python·深度学习
蹦蹦跳跳真可爱5893 小时前
Python----计算机视觉处理(Opencv:自适应二值化,取均值,加权求和(高斯定理))
人工智能·python·opencv·计算机视觉