第5章:神经网络

神经元模型

上述定义的简单单元即为神经元模型。

多层网络



误差逆传播算法





  • 标准BP算法:参数更新非常频繁,可能出现抵消现象。
  • 积累BP算法:下降到一定程度上,进行下一步会非常缓慢。

过拟合

  • 早停:划分训练集和验证集,若训练集误差降低而验证集升高则停止训练。
  • 正则化:在误差目标函数中加入一个用于描述网络复杂度的部分, E = λ 1 m ∑ k = 1 m E k + ( 1 − λ ) ∑ i w i 2 E=\lambda\frac{1}{m}\sum_{k=1}^mE_k+(1-\lambda)\sum_iw_i^2 E=λm1∑k=1mEk+(1−λ)∑iwi2

全局最小与局部极小

  • 局部极小解:是参数空间的某个点,其邻域点的误差函数值均不小于该点的误差函数值,可能存在多个。
  • 全局极小解:是指参数空间中所有点的误差函数值均不小于该点的误差函数值,只存在一个。

如何跳出局部极小值点?

  • 以多组不同参数值初始化多个神经网络,取误差最小的解。
  • 使用模拟退火,在每一步都有一定概率接受比当前解更差的算法。
  • 使用随机梯度下,即便陷入局部极小点,它计算出来的梯度仍然可能不为0。
相关推荐
余弦的倒数5 分钟前
大语言模型(LLMs)微调技术总结
人工智能·语言模型·chatgpt
Dovis(誓平步青云)19 分钟前
AI遇见端动态神经网络:Cephalon(联邦学习+多模态编码)认知框架构建
图像处理·人工智能·机器学习·微服务·语言模型·数据挖掘·交互
gs8014023 分钟前
什么是 MCP?AI 应用的“USB-C”标准接口详解
人工智能
EasyGBS26 分钟前
国标GB28181视频平台EasyCVR实用方案:如何实现画面拉伸
人工智能·音视频
科达嘉电子39 分钟前
高性能电感器,助力AI服务器高效率、低功耗发展
人工智能
亲持红叶40 分钟前
transformer-实现单层Decoder 层
人工智能·深度学习·transformer
孙先生14841 分钟前
AIGC重构元宇宙:从内容生成到沉浸式体验的技术革命
人工智能·aigc
Want5951 小时前
DeepSeek破界而来:重构大规模深度检索的算力与边界
人工智能·重构·aigc
奔跑吧邓邓子1 小时前
DeepSeek+即梦:AI视频创作从0到1全突破
人工智能·deepseek·ai视频制作·即梦
小黄人20251 小时前
NVIDIA高级辅助驾驶领域的创新实践与云计算教育启示
人工智能·云计算·自动驾驶·ai教育