(六)Dropout抑制过拟合与超参数的选择--九五小庞

过拟合

  • 即模型在训练集上表现的很好,但是在测试集上效果却很差。也就是说,在已知的数据集合中非常好,再添加一些新数据进来效果就会差很多

欠拟合

  • 即模型在训练集上表现的效果差,没有充分利用数据,预测准确率很低,拟合结果严重不符合预期

dropout层


为什么说Dropout可以解决过拟合

  • 取平均的作用
    先回到标准的模型即没有dropout,我们用相同的训练数据去训练5个不同的神经网络,一般会得到5个不同的结果,此时我们可以采取"5个结果取均值"或者"多数取胜的投票策略"去决定最终结果。
  • 减少神经元之间复杂的共适应关系
    因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用,阻止了某些特征仅仅在其他特征下才有效果的情况。
  • dropout类似于性别在生物进化中的角色
    物种为了生存往往会倾向于适用这种环境,环境突变则会导致物种难以做出及时的反应,性别的出现可以繁衍出适用新环境的变种,有效的阻止过拟合,即避免环境改变时物种可能面临的灭绝

参数选择原则

  • 理想的模型刚好在欠拟合和过拟合的界线上,也就是正好拟合数据。

首先开发一个过拟合的模型

  1. 添加更多的层
  2. 让每一层变得更大
  3. 训练更多的轮次

然后抑制过拟合

  1. dropout
  2. 正则化
  3. 图像增强
  • 增大训练数据是抑制过拟合的最好办法,在没有数据的前提下,上面三种方法可以来抑制过拟合

再次调节超参数

  1. 学习速率
  2. 隐藏单层神经元数
  3. 训练轮次
  • 超参数的选择是一个经验与不断测试的结果。经典机器学习的方法,如特征工程,增加训练数据也要做
  • 交叉验证

构建网络的总原则

  • 总的原则是:保证神经网络容量组个拟合数据
  1. 增大网络容量,直到过拟合
  2. 采取措施抑制过拟合
  3. 继续增大网络容量,直到过拟合
相关推荐
luofeiju8 分钟前
RGB下的色彩变换:用线性代数解构色彩世界
图像处理·人工智能·opencv·线性代数
测试者家园10 分钟前
基于DeepSeek和crewAI构建测试用例脚本生成器
人工智能·python·测试用例·智能体·智能化测试·crewai
张较瘦_14 分钟前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
大模型真好玩14 分钟前
准确率飙升!Graph RAG如何利用知识图谱提升RAG答案质量(四)——微软GraphRAG代码实战
人工智能·python·mcp
Baihai_IDP28 分钟前
vec2text 技术已开源!一定条件下,文本嵌入向量可“近乎完美地”还原
人工智能·面试·llm
江太翁32 分钟前
Pytorch torch
人工智能·pytorch·python
拓端研究室1 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能
网安INF1 小时前
深度学习中的逻辑回归:从原理到Python实现
人工智能·python·深度学习·算法·逻辑回归
Despacito0o1 小时前
ESP32-s3摄像头驱动开发实战:从零搭建实时图像显示系统
人工智能·驱动开发·嵌入式硬件·音视频·嵌入式实时数据库
Leinwin1 小时前
微软发布突破性医疗AI系统
人工智能·microsoft