机器学习任务功略

loss如果大,训练资料没有学好,此时有两个可能:

1.model bias太过简单(找不到loss低的function)。

**解决办法:**增加输入的feacture,设一个更大的model,也可以用deep learning增加弹性。

2.optimization做得不好(合适的function确实存在但是无法正确选择出来)。
如何判断是上面的哪种情况?
  • 比较图像信息。(例如如果20层的network已经可以做得很好有很低的loss了,56层的明显错误便并不是model bias弹性不够导致的,是optimization做得不好)
  • 可以先看比较浅的network(model),因为它们不太会有optimization的问题。
  • 如果深层的model并没有包含更小的数据差,那就是optimization的问题。(例如↓)

看testing data

1.依旧很小,那很完美。
2.如果training data的loss小(并且确定model bias没有问题,optimization够大了)但是testing data的loss大有可能是overfitting。
  • 上面是个特例极端情况。
  • 正常来说:没有给足够的资料做为训练,因为model自由度很大就会导致overfitting。
解决方法:

1.增加训练资料。

2.data augmentation(用自己对问题的理解自己创造一些资料)。

注意:不能随便做,要是有道理的数据。根据对资料的特性,基于自己的理解,增加 data augmentation。

3.缩减弹性,写极限。

比如:减少神经元数目 或者 让model公用参数 或者 用比较少的features 或者 early stopping 或者 regularization 或者 drop out。

但是注意不要给模型太多的限制。限制太大了在测试上就没有好结果,也就导致了model bias。

相关推荐
愚者大大2 分钟前
1. 深度学习介绍
人工智能·深度学习
liuming19928 分钟前
Halcon中histo_2dim(Operator)算子原理及应用详解
图像处理·人工智能·深度学习·算法·机器学习·计算机视觉·视觉检测
聆思科技AI芯片25 分钟前
实操给桌面机器人加上超拟人音色
人工智能·机器人·大模型·aigc·多模态·智能音箱·语音交互
海棠AI实验室1 小时前
机器学习基础算法 (一)-线性回归
人工智能·python·机器学习
星霜旅人1 小时前
均值聚类算法
人工智能·机器学习·支持向量机
Asiram_1 小时前
大数据机器学习与计算机视觉应用08:反向传播
大数据·机器学习·计算机视觉
长风清留扬1 小时前
机器学习中的密度聚类算法:深入解析与应用
人工智能·深度学习·机器学习·支持向量机·回归·聚类
看星猩的柴狗1 小时前
机器学习-正则化技术
人工智能·机器学习
程序员非鱼1 小时前
深度学习任务简介:分类、回归和生成
人工智能·深度学习·分类·回归·生成