机器学习任务功略

loss如果大,训练资料没有学好,此时有两个可能:

1.model bias太过简单(找不到loss低的function)。

**解决办法:**增加输入的feacture,设一个更大的model,也可以用deep learning增加弹性。

2.optimization做得不好(合适的function确实存在但是无法正确选择出来)。
如何判断是上面的哪种情况?
  • 比较图像信息。(例如如果20层的network已经可以做得很好有很低的loss了,56层的明显错误便并不是model bias弹性不够导致的,是optimization做得不好)
  • 可以先看比较浅的network(model),因为它们不太会有optimization的问题。
  • 如果深层的model并没有包含更小的数据差,那就是optimization的问题。(例如↓)

看testing data

1.依旧很小,那很完美。
2.如果training data的loss小(并且确定model bias没有问题,optimization够大了)但是testing data的loss大有可能是overfitting。
  • 上面是个特例极端情况。
  • 正常来说:没有给足够的资料做为训练,因为model自由度很大就会导致overfitting。
解决方法:

1.增加训练资料。

2.data augmentation(用自己对问题的理解自己创造一些资料)。

注意:不能随便做,要是有道理的数据。根据对资料的特性,基于自己的理解,增加 data augmentation。

3.缩减弹性,写极限。

比如:减少神经元数目 或者 让model公用参数 或者 用比较少的features 或者 early stopping 或者 regularization 或者 drop out。

但是注意不要给模型太多的限制。限制太大了在测试上就没有好结果,也就导致了model bias。

相关推荐
ARM+FPGA+AI工业主板定制专家1 小时前
基于GPS/PTP/gPTP的自动驾驶数据同步授时方案
人工智能·机器学习·自动驾驶
长鸳词羡1 小时前
wordpiece、unigram、sentencepiece基本原理
人工智能
ㄣ知冷煖★1 小时前
【GPT5系列】ChatGPT5 提示词工程指南
人工智能
科士威传动1 小时前
丝杆支撑座在印刷设备如何精准运行?
人工智能·科技·自动化·制造
taxunjishu3 小时前
DeviceNet 转 Modbus TCP 协议转换在 S7-1200 PLC化工反应釜中的应用
运维·人工智能·物联网·自动化·区块链
kalvin_y_liu3 小时前
智能体框架大PK!谷歌ADK VS 微软Semantic Kernel
人工智能·microsoft·谷歌·智能体
爱看科技3 小时前
智能眼镜行业腾飞在即,苹果/微美全息锚定“AR+AI眼镜融合”之路抢滩市场!
人工智能·ar
Juchecar6 小时前
LLM模型与ML算法之间的关系
人工智能
FIN66686 小时前
昂瑞微:深耕射频“芯”赛道以硬核实力冲刺科创板大门
前端·人工智能·科技·前端框架·信息与通信·智能
benben0446 小时前
京东agent之joyagent解读
人工智能