第5章:神经网络

神经元模型

上述定义的简单单元即为神经元模型。

多层网络



误差逆传播算法





  • 标准BP算法:参数更新非常频繁,可能出现抵消现象。
  • 积累BP算法:下降到一定程度上,进行下一步会非常缓慢。

过拟合

  • 早停:划分训练集和验证集,若训练集误差降低而验证集升高则停止训练。
  • 正则化:在误差目标函数中加入一个用于描述网络复杂度的部分, E = λ 1 m ∑ k = 1 m E k + ( 1 − λ ) ∑ i w i 2 E=\lambda\frac{1}{m}\sum_{k=1}^mE_k+(1-\lambda)\sum_iw_i^2 E=λm1∑k=1mEk+(1−λ)∑iwi2

全局最小与局部极小

  • 局部极小解:是参数空间的某个点,其邻域点的误差函数值均不小于该点的误差函数值,可能存在多个。
  • 全局极小解:是指参数空间中所有点的误差函数值均不小于该点的误差函数值,只存在一个。

如何跳出局部极小值点?

  • 以多组不同参数值初始化多个神经网络,取误差最小的解。
  • 使用模拟退火,在每一步都有一定概率接受比当前解更差的算法。
  • 使用随机梯度下,即便陷入局部极小点,它计算出来的梯度仍然可能不为0。
相关推荐
云空31 分钟前
《探索电脑麦克风声音采集多窗口实时可视化技术》
人工智能·python·算法
麦兜*35 分钟前
【Spring Boot】Spring Boot 4.0 的颠覆性AI特性全景解析,结合智能编码实战案例、底层架构革新及Prompt工程手册
java·人工智能·spring boot·后端·spring·架构
张较瘦_38 分钟前
[论文阅读] 人工智能 | 5C提示词框架的研究
论文阅读·人工智能
超龄超能程序猿1 小时前
使用 Python 对本地图片进行图像分类
开发语言·人工智能·python·机器学习·分类·数据挖掘·scipy
大千AI助手1 小时前
RLHF:人类反馈强化学习 | 对齐AI与人类价值观的核心引擎
人工智能·深度学习·算法·机器学习·强化学习·rlhf·人类反馈强化学习
我爱一条柴ya1 小时前
【AI大模型】RAG系统组件:向量数据库(ChromaDB)
数据库·人工智能·pytorch·python·ai·ai编程
MARS_AI_1 小时前
云蝠智能VoiceAgent重构企业电话客服体系
人工智能·自然语言处理·人机交互·交互·信息与通信
在猴站学算法5 小时前
机器学习(西瓜书) 第二章 模型评估与选择
人工智能·机器学习
科技宅说6 小时前
36氪专访丨乐橙CEO谢运:AI科技下的业务创新与长期主义下的品牌坚守
人工智能·科技
学术小八7 小时前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr