(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
长不大的杨瑞杰几秒前
把 Spring Boot 接口变成 AI 工具:OpenAPI、参数映射与异常语义化实战
人工智能·spring boot·后端
u1301302 分钟前
GitHub 热榜项目:日榜(2026-10-19)
人工智能·github
kaixin_啊啊3 分钟前
【零基础学AI】第 13 章——NumPy 和向量
人工智能·numpy
QinHsiu4 分钟前
语音识别的真瓶颈不是模型,是“已输出的字还能不能改”:网易有道R2T2登顶Hugging Face
人工智能
我喜欢就喜欢4 分钟前
DeepSeek Harness 开源贡献手记:从零到合入主线
开发语言·人工智能
Είναι η κοπέλα6 分钟前
Stable Diffusion文生图:本地 AI 绘画事实标准入门
人工智能·stable diffusion
znnnk7 分钟前
2026 前端工程化新纪元:Rust 重塑工具链,AI Agent 接管流水线
前端·人工智能·rust
QinHsiu9 分钟前
Agent没报错、退出码是0,但文件是坏的:上下文压缩正在静默污染你的工作产物
人工智能
DQQzero13 分钟前
84.66% 的“实锤“是怎么来的:拆解模型指纹工具的闭集陷阱
人工智能·机器学习·ai·模型指纹
成为深度学习高手14 分钟前
xLSTM-Mixer:用标量记忆同时混合时间与变量,把循环网络带回多元时序预测
人工智能·python·深度学习·数据挖掘·transformer