机器学习之单层神经网络的训练:增量规则(Delta Rule)

文章目录

  • 神经网络以权值的形式存储信息,根据给定的信息来修改权值的系统方法称为学习规则。由于训练是神经网络系统地存储信息的唯一途径,因此学习规则是神经网络研究中的一个重要组成部分

权重的调整

(Xj 为结点的输入,Yi为结点的输出,Wij为其之间的权重,ei为正确值di 与输出值Yi的误差)

  • 如果一个输入节点导致了输出节点的误差,则两个节点之间的权重按输入值xj和输出误差ei的比例进行调整

那么这个公式:

α=学习率(0< a <1)

  • 学习速率α决定了每次权重的多少。如果这个值过高,输出就会在解决方案中徘徊,无法收敛。相反,如果它太低,计算到达解的速度太慢

单层神经网络使用delta规则的训练过程

1.以足够的值初始化权重。

2.从{输入,正确输出}的训练数据中取"输入",输入神经网络。计算从正确的输出di到输入的输出yi的误差。

3.根据以下delta规则计算权重更新:

4。调整重量为:

5。对所有训练数据执行步骤2-4。

6.重复步骤2-5,直到误差达到可接受的公差水平。

  • 这些步骤几乎与"神经网络的监督学习"部分中的监督学习过程完全相同。唯一的区别是增加了步骤6。步骤6只是说明整个训练过程是重复的。一旦完成步骤5,就用每个数据点对模型进行训练。那么,为什么我们要使用所有相同的训练数据来训练它呢?这是因为delta规则在重复这个过程时搜索解决方案,而不是一次性解决它。3整个过程重复进行,因为用相同的数据再训练模型可能会改进模型。

训练过程

相关推荐
2501_924879363 小时前
口罩识别场景误报率↓79%:陌讯多模态融合算法实战解析
人工智能·深度学习·算法·目标检测·智慧城市
万粉变现经纪人3 小时前
如何解决pip安装报错ModuleNotFoundError: No module named ‘keras’问题
人工智能·python·深度学习·scrapy·pycharm·keras·pip
whaosoft-1433 小时前
51c自动驾驶~合集12
人工智能
Chan163 小时前
【智能协同云图库】第七期:基于AI调用阿里云百炼大模型,实现AI图片编辑功能
java·人工智能·spring boot·后端·spring·ai·ai作画
计算机科研圈3 小时前
字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍
人工智能·语言模型·自然语言处理·数据挖掘·开源·字节
Christo34 小时前
TFS-2022《A Novel Data-Driven Approach to Autonomous Fuzzy Clustering》
人工智能·算法·机器学习·支持向量机·tfs
陈哥聊测试4 小时前
Coze开源了!意味着什么?
人工智能·ai·开源·项目管理·项目管理软件
木木子99994 小时前
超平面(Hyperplane)是什么?
算法·机器学习·支持向量机·超平面·hyperplane
FL16238631294 小时前
室内液体撒漏泄漏识别分割数据集labelme格式2576张1类别
人工智能·深度学习