机器学习笔记(五)--神经网络

神经元网络:M-P神经元模型

神经元接收来自其他n个神经元传递过来的信号,这些信号通过有权重的连接进行传递,神经元接收到的总输入值将与神经元的阈值进行对比,通过激活函数的处理产生神经元的输出。

感知机与多层网络

感知机 :由两层神经元组成 ,输入层传递信号给输出层,输出层是M-P神经元。只有输出层进行激活函数处理,拥有一层功能神经元。不能解决异或、非线性可分的问题。

多层网络:隐藏层和输出层均拥有激活函数的功能神经元。

PS:常见的神经网络是层级结构,即每层神经元与下一层神经元互连,神经元之间不存在同层连接,也不存在跨层连接,也称为多层前馈神经网络。前馈是指网络拓扑结构上不存在环或者回路。

神经网络的学习过程,就是学习连接权值和阈值的过程。

误差逆传播算法(BP)

不仅可以用于多层前馈神经网络,还可以用于其他类型的神经网络(如:训练递归神经网络)

BP是迭代学习算法,在每一轮迭代中采用广义的感知机学习规则对参数进行更新估计。基于梯度下降策略,以目标的负梯度方向对参数进行调整,由于强大的表示能力,因此用以过拟合。

标准的BP算法,每次仅针对一个训练样例更新连接权和阈值。

累积BP算法,直接针对累积误差最小化,读取整个训练集之后对参数更新。

存在的问题:如何设置隐层神经元的个数。实际中,往往通过试错法调整。

解决过拟合的策略:早停、正则化

全局最小和局部极小

跳出局部最小的方法:

  • 利用多组不同参数值初始化多个神经元网络,相当于从多个初始点开始搜索。
  • 模拟退火
  • 随机梯度下降
  • 遗传算法

跳出局部极小的技术大多是启发式,理论上缺乏保障。

常见的其他神经网络:

  • RBF径向基函数网络;
  • ART自适应谐振理论网络,属于竞争性学习网络,是无监督学习,可塑性稳定性好;
  • SOM自组织映射网络,属于竞争性学习网络,是无监督学习;
  • 联级相关网络,即结构自适应网络
  • Elman网络,属于递归神经网络,允许网络有环形结构。
  • Boltzmann网络,基于能量的模型,属于递归神经网络

深度学习

一般复杂模型训练效率低,容易陷入过拟合,深度学习使得训练数据大幅增加,降低过拟合风险。

增加隐藏层数目比增加隐藏层神经元更有效,多层神经网络难以直接利用BP算法,因为误差在多个隐藏层传递,使得处于发散而不能收敛的状态。无监督逐层训练时多隐藏层网络训练的主要方法,即预训练+微调,另一种方法是权值共享,即让一组神经元使用相同的连接权。

相关推荐
吹风看太阳17 分钟前
机器学习16-总体架构
人工智能·机器学习
IT古董1 小时前
【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(5)PyTorch 实战——使用 RNN 进行人名分类
pytorch·深度学习·神经网络
UQI-LIUWJ2 小时前
李宏毅LLM笔记: AI Agent
人工智能·笔记
ouliten2 小时前
cuda编程笔记(6)--流
笔记
Love__Tay2 小时前
笔记/云计算基础
笔记·学习·云计算
AI生存日记2 小时前
AI 行业早报:微软发布诊断工具,上海聚焦四大应用场景
人工智能·microsoft·机器学习·open ai大模型
李元豪3 小时前
【行云流水ai笔记】粗粒度控制:推荐CTRL、GeDi 细粒度/多属性控制:推荐TOLE、GPT-4RL
人工智能·笔记
特种加菲猫5 小时前
指尖上的魔法:优雅高效的Linux命令手册
linux·笔记
wuxuanok5 小时前
Web后端开发-分层解耦
java·笔记·后端·学习
wuxuanok6 小时前
Web后端开发-请求响应
java·开发语言·笔记·学习