(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
明明如月学长10 分钟前
全网最火的 Agent Skills 都在这了!这 7 个宝藏市场建议收藏
人工智能
猫头虎11 分钟前
如何使用Docker部署OpenClaw汉化中文版?
运维·人工智能·docker·容器·langchain·开源·aigc
njsgcs12 分钟前
输入图片,点击按钮,返回下一个state的图片,llm给标签,循环,能训练出按钮对应的标签吗
人工智能
holeer14 分钟前
【V2.0】王万良《人工智能导论》笔记|《人工智能及其应用》课程教材笔记
神经网络·机器学习·ai·cnn·nlp·知识图谱·智能计算
啊森要自信16 分钟前
CANN runtime 深度解析:异构计算架构下运行时组件的性能保障与功能增强实现逻辑
深度学习·架构·transformer·cann
Aric_Jones17 分钟前
如何在网站中接入 AI 智能助手
人工智能
m0_5711866021 分钟前
第三十四周周报
人工智能
AI资源库21 分钟前
microsoftVibeVoice-ASR模型深入解析
人工智能·语言模型
jarvisuni22 分钟前
开发“360安全卫士”,Opus4.6把GPT5.3吊起来打了?!
人工智能·gpt·ai编程