【趣谈】BP神经网络是如何演变出RNN神经网络的

本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/

目录

有些朋友学习了BP神经网络,却认为RNN很遥远,或者有些朋友学了RNN,却不知它的意义,这两者差不多就是同一个东西,因此不妨来聊聊BP是如何演变出RNN的,以此加深对两者的了解。

一、BP神经网络是什么

一般最常用的是三层的BP神经网络,它只要隐节点足够多就足以拟合任意曲线。

如果从它的数学表达式来看,就更容易理解它的意义了:

是的,BP神经网络简单来说就只是用多个tansig函数来拟合目标函数。

如果要简洁地总结BP神经网络是什么,那就是"一个可以拟合任意函数的模型"

二、BP神经网络如何解决序列预测问题

序列数据的后一个数据与前面的数据相关,这是序列数据的特性。例如房价就是序列数据,每月的房价不仅受当前市场各种因素的影响,它还与上个月的房价紧密相关。

2.1. BP解决序列预测-Jordan神经网络

要用bp神经网络预测序列数据,最简易的思路就是把前一个数据的输出加入到当前数据中作为输入变量,因为当前的输出不仅受x的影响,还受之前的y的影响:

没错,就是这么简单,就诞生了最初代的循环神经网络-Jordan神经网络。

2.2.RNN神经网络

而Elman则提出,不要把上一时刻的y加到隐层,而是把上一时刻的隐层加到当前隐层

为啥要用上一时刻的隐层来替代y呢?因为y就是隐层计算得到的,可见隐层是"更原始"的变量,这样对信息的使用更为充分。没错,Elman的这一改动可以说是个壮举,太实用了,所以都不叫Elman神经网络了,直接称为"RNN神经网络"或"基础RNN神经网络"。

RNN一般按时序展开,就如下图所示:

它实际就是一个三层的BP神经网络,然后每层除了实时输入X,还接受来自上一层的隐层作为延迟输入。RNN就是如此简单,实际就是"用于解决序列预测的BP神经网络"。

BP神经网络是一个非常有趣的东西,不仅它自身在曲线拟合上取得的极佳效果,它还生了几个儿子:CNN,RNN,编码器,个个儿子都这么出色。


相关链接:

《老饼讲解-机器学习》:老饼讲解-机器学习教程-通俗易懂

《老饼讲解-神经网络》:老饼讲解-matlab神经网络-通俗易懂

《老饼讲解-神经网络》:老饼讲解-深度学习-通俗易懂

相关推荐
计算机毕业设计指导5 小时前
基于ResNet50的智能垃圾分类系统
人工智能·分类·数据挖掘
飞哥数智坊5 小时前
终端里用 Claude Code 太难受?我把它接进 TRAE,真香!
人工智能·claude·trae
小王爱学人工智能6 小时前
OpenCV的阈值处理
人工智能·opencv·计算机视觉
新智元6 小时前
刚刚,光刻机巨头 ASML 杀入 AI!豪掷 15 亿押注「欧版 OpenAI」,成最大股东
人工智能·openai
机器之心6 小时前
全球图生视频榜单第一,爱诗科技PixVerse V5如何改变一亿用户的视频创作
人工智能·openai
新智元6 小时前
2025年了,AI还看不懂时钟!90%人都能答对,顶尖AI全军覆没
人工智能·openai
湫兮之风6 小时前
OpenCV: Mat存储方式全解析-单通道、多通道内存布局详解
人工智能·opencv·计算机视觉
机器之心7 小时前
Claude不让我们用!国产平替能顶上吗?
人工智能·openai
程序员柳7 小时前
基于YOLOv8的车辆轨迹识别与目标检测研究分析软件源代码+详细文档
人工智能·yolo·目标检测
算家计算7 小时前
一站式高质量数字人动画框架——EchoMimic-V3本地部署教程: 13 亿参数实现统一多模态、多任务人体动画生成
人工智能·开源