(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
lijianhua_97128 小时前
国内某顶级大学内部用的ai自动生成论文的提示词
人工智能
EDPJ8 小时前
当图像与文本 “各说各话” —— CLIP 中的模态鸿沟与对象偏向
深度学习·计算机视觉
蔡俊锋8 小时前
用AI实现乐高式大型可插拔系统的技术方案
人工智能·ai工程·ai原子能力·ai乐高工程
自然语8 小时前
人工智能之数字生命 认知架构白皮书 第7章
人工智能·架构
大熊背8 小时前
利用ISP离线模式进行分块LSC校正的方法
人工智能·算法·机器学习
eastyuxiao9 小时前
如何在不同的机器上运行多个OpenClaw实例?
人工智能·git·架构·github·php
诸葛务农9 小时前
AGI 主要技术路径及核心技术:归一融合及未来之路5
大数据·人工智能
光影少年9 小时前
AI Agent智能体开发
人工智能·aigc·ai编程
ai生成式引擎优化技术9 小时前
TSPR-WEB-LLM-HIC (TWLH四元结构)AI生成式引擎(GEO)技术白皮书
人工智能
帐篷Li9 小时前
9Router:开源AI路由网关的架构设计与技术实现深度解析
人工智能