(五)网络优化与超参数选择--九五小庞

网络容量

  • 网络中神经单元数越多,层数越多,神经网路的拟合能力越强。但是训练速度,难度越大,越容易产生过拟合。

如何选择超参数

  • 所谓超参数,也就是搭建神经网路中,需要我们自己去选择(不是通过梯度下降算法去优化)的哪些参数。比如,中间层的神经元个数,学习速率。

如何提高网络的拟合能力

增大网络容量

  • 增加层(深度)
    增加层会大大提高网络的拟合能力,这也是为什么现在深度学习的层越来越深的原因
  • 增加隐藏神经元个数(宽度)
    单纯的增加神经元个数对网络性能的提高并不明显
  • 注意:单层的神经元个数,不能太小,太小的话,会造成信息瓶颈,使得模型欠拟合
相关推荐
rainy雨几秒前
六西格玛改进系统的全流程功能:传统企业转型中如何用六西格玛解决成本失控与交付延期的双重难题
大数据·人工智能·精益工程
人工干智能4 分钟前
科普:OpenClaw、大模型、通道及云端养虾
网络·人工智能·llm
2501_926978334 分钟前
“AI构建APP”--到--“AI的动力性底层存在”--到--“AGI合法性验证”--AI治理的核心痛点解决方案
人工智能·经验分享·ai写作·agi
猿小猴子4 分钟前
主流 AI IDE 之一的 JoyCode 介绍
ide·人工智能
格林威5 分钟前
工业相机图像高速存储(C#版):直接IO(Direct I/O)方法,附Basler相机实战代码!
开发语言·人工智能·数码相机·计算机视觉·c#·视觉检测·工业相机
LitchiCheng6 分钟前
Mujoco 仿真相机下 SolvePnp 获得 Apriltag 位姿
人工智能·python
草莓熊Lotso9 分钟前
MySQL 表约束核心指南:从基础约束到外键关联(含实战案例)
android·运维·服务器·数据库·c++·人工智能·mysql
烙印60110 分钟前
不只是调包:Transformer编码器的原理与实现(一)
人工智能·深度学习·transformer
码农三叔10 分钟前
(9-1)多模态融合理论与方法:低层融合
人工智能·机器学习·计算机视觉·机器人
安逸sgr11 分钟前
MCP 协议深度解析(一):MCP 协议概览与架构设计
服务器·网络·人工智能·网络协议·agent·mcp