(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
giszz20 小时前
【WorkBuddy专栏72】AI 有了自己的邮箱——WorkBuddy Agent Mail 从开通到自动化完全指南
人工智能·企业微信
@Mr_LiuYang20 小时前
《深入理解 AI Agent:设计原理与工程实践 》实验2-2 2-7 大模型注意力权重分布可视化
人工智能·大模型·agent·注意力机制
Seven9720 小时前
AI杂谈:别再问AI会不会替代你,先看你是不是驾驶员
人工智能·后端
七夜zippoe20 小时前
OpenClaw 测试策略实战:AI Agent 自动化测试体系搭建与落地
人工智能·ai·自动化·agent·测试体系·openclaw
满怀冰雪20 小时前
20-卷积神经网络基础:用 Paddle 构建 CNN
人工智能·深度学习·cnn·paddle
(轻舟已过万重山)21 小时前
第40章 Spring AI 实战:企业级 AI 应用架构
人工智能·spring·架构
zzm62821 小时前
WSDM 2018论文精读:基于多关系学习与路径约束的商品替代互补关系挖掘
人工智能·学习
aneasystone本尊21 小时前
学习 Headroom 的 CCR 可逆压缩
人工智能
大模型任我行21 小时前
谷歌:扩散模型实现极速文本生成
人工智能·语言模型·自然语言处理·论文笔记