机器学习之单层神经网络的训练:增量规则(Delta Rule)

文章目录

  • 神经网络以权值的形式存储信息,根据给定的信息来修改权值的系统方法称为学习规则。由于训练是神经网络系统地存储信息的唯一途径,因此学习规则是神经网络研究中的一个重要组成部分

权重的调整

(Xj 为结点的输入,Yi为结点的输出,Wij为其之间的权重,ei为正确值di 与输出值Yi的误差)

  • 如果一个输入节点导致了输出节点的误差,则两个节点之间的权重按输入值xj和输出误差ei的比例进行调整

那么这个公式:

α=学习率(0< a <1)

  • 学习速率α决定了每次权重的多少。如果这个值过高,输出就会在解决方案中徘徊,无法收敛。相反,如果它太低,计算到达解的速度太慢

单层神经网络使用delta规则的训练过程

1.以足够的值初始化权重。

2.从{输入,正确输出}的训练数据中取"输入",输入神经网络。计算从正确的输出di到输入的输出yi的误差。

3.根据以下delta规则计算权重更新:

4。调整重量为:

5。对所有训练数据执行步骤2-4。

6.重复步骤2-5,直到误差达到可接受的公差水平。

  • 这些步骤几乎与"神经网络的监督学习"部分中的监督学习过程完全相同。唯一的区别是增加了步骤6。步骤6只是说明整个训练过程是重复的。一旦完成步骤5,就用每个数据点对模型进行训练。那么,为什么我们要使用所有相同的训练数据来训练它呢?这是因为delta规则在重复这个过程时搜索解决方案,而不是一次性解决它。3整个过程重复进行,因为用相同的数据再训练模型可能会改进模型。

训练过程

相关推荐
可乐+冰06 小时前
Android 编写高斯模糊功能
android·人工智能·opencv
嘀咕博客7 小时前
SynClub-百度在海外推出的AI社交产品
人工智能·百度·ai工具
AI算法工程师Moxi7 小时前
什么是迁移学习(transfer learning)
人工智能·机器学习·迁移学习
空白到白8 小时前
机器学习-KNN算法
人工智能·算法·机器学习
aliedudu8 小时前
机器学习概述
人工智能·机器学习
love you joyfully8 小时前
循环神经网络——pytorch实现循环神经网络(RNN、GRU、LSTM)
人工智能·pytorch·rnn·深度学习·gru·循环神经网络
袁庭新8 小时前
AI如何辅助创业?年轻人一定要创业
人工智能·创业
GIS开发特训营9 小时前
【智慧城市】2025年中国地质大学(武汉)暑期实训优秀作品(2):智慧城市西安与一带一路
人工智能·信息可视化·智慧城市
飞哥数智坊9 小时前
扣子实战第19讲:Coze零代码打造“新生入学百事通”,辅导员都说好
人工智能·coze
上海控安9 小时前
上海控安:GB 44495-2024《汽车整车信息安全技术要求》标准解读和测试方案
大数据·人工智能·汽车