【辨析】快速了解RBF神经网络与BP神经网络的区别

本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/

一、RBF与BP模型简介
- 1.1.模型结构
- 1.2.模型表达式
二、RBF神经网络与BP神经网络的对比
- [2.1 RBF与BP的激活函数对比](#2.1 RBF与BP的激活函数对比)
- [2.2 RBF与BP的思想对比](#2.2 RBF与BP的思想对比)
三、RBF神经网络与BP神经网络的训练方法对比
- 2.1.BP神经网络的训练
- 2.2.RBF神经网络的训练
- [2.3 BP神经网络与RBF神经网络哪个更好](#2.3 BP神经网络与RBF神经网络哪个更好)

RBF神经网络与BP神经网络都是常用的两种用于回归预测的神经网络，

本文通过对两种神经网络的对对，简单快速了解两种神经网络的特色与区别

一、RBF与BP模型简介

BP神经网络的模型结构为：

RBF神经网络的模型结构为：

BP神经网络的模型表达式为：

RBF神经网络的模型表达式为：

BP神经网络是以多个tansig函数之和，而RBF神经网络则是多个RBF函数之和。

tansig函数是一个S型函数，图象如下：

RBF函数是一个钟型函数，图象如下：

从思想上来看，BP是用多个S型曲线凑合出目标曲线，而RBF神经网络则是用多个钟型函数凑合出目标曲线，

所以两者在思想上几乎是相同的，极为相似，只是所使用的函数不同而已。

比较有趣的是，进一步分析会发现两个tansig函数实际上还能凑出一个RBF函数，所以RBF能拟合的曲线形态，BP一定也是能拟合的。

BP神经网络一般都用梯度下降法，或者其它优化算法进行优化，BP神经网络是将所以参数进行同时进行优化的。BP神经网络一般需要先计算梯度，再用梯度来逐步调整参数使得网络的误差下降。因此BP神经网络的训练相对会更耗时一些，也更不确定一些。

RBF神经网络的隐层权重则是预设好的，例如以每个样本点作为权重，需要训练的只有输出层的权重，通常使用最小二乘法或正交最小二乘法进行求解就可以了。因此RBF神经网络的训练非常的快，并且训练结果是唯一的。

RBF神经网络的求解方法详见：《RBF神经网络的求解》

一般模型之间没有更好或更差一说，对于不同的数据，模型的适用程度不同，因此更多可以先通过理论分析来判断哪个模型更适用，但这需要对理论有更深入的掌握与理解，更简单的方法是直接通过模型实际建模效果来进行对比。

相关链接：

《老饼讲解-机器学习》：老饼讲解-机器学习教程-通俗易懂