一、引入
1、神经元模型
（1）人工神经网络通过模拟人脑细胞的分布式工作特点和自组织功能，实现并行处理、自学习和非线性映射等能力，因此是一种典型的智能控制方法。
（2）神经元模型是生物神经元的抽象和模拟，是模拟生物神经元的结构和功能、并从数学角度抽象出来的一个基本单元，一般是多输入-单输出的非线性器件。
（3）神经元模型的数学表示：
（4）常用的神经元非线性特性：
2、神经网络的模型分类
（1）按建模层次分类，网络模型可分为以下四种形式：
①神经元层次模型：模拟单个生物神经元的行为，比如输入、加权求和、激活函数、输出。
②组合式模型：把多个神经元组合成一个模块或子网络，比如一层神经元、一个局部连接单元。
③网络层次模型：由多个神经元层/模块构成的完整网络，关注层与层之间的连接方式、拓扑结构。
④神经系统层次模型：模拟大脑区域、脑区之间的协作。
（2）根据连接方式的不同，神经网络可以分为以下四种形式：
①前向（馈）网络：数据单向流动，从输入层→隐藏层→输出层，没有反馈连接。
②反馈网络：网络存在环路，输出或隐藏层的信号会反馈回前面的层。
③相互结合型网络：既有前向连接，又有层间的横向连接/跨层反馈。
1\]全互连：  \[2\]局部互连：  ④混合型网络神经：由多种不同结构的网络组合而成。  ### 3、神经网络的学习算法 （1）学习的过程实质上是针对一组给定输入使网络产生相应的期望输出的过程。 （2）神经网络的学习算法分为有导师学习和无导师学习两大类： ①有导师学习：在训练过程中，始终存在一个期望的网络输出，期望输出和实际输出之间的距离作为误差度量并用于调整权值。  ②无导师学习：网络不存在一个期望的输出，因而没有直接的误差信息，因此，为实现对网络的训练，需建立一个间接的评价函数，以对网络的某种行为趋向作出评价。学习规则根据连接权系数的改变方式不同又可分为三类------相关学习、纠错学习和无导师学习。  ### 4、神经网络的泛化能力 （1）当输入矢量带有噪声时，即与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出，这种能力就称为泛化能力。泛化能力的定义比较抽象，可理解为举一反三的能力，泛化能力强的模型，能从有限的"例题"里学到底层规律，遇到从未见过的新数据（"新题目"）时，它依然能给出合理的预测。 （2）举例来说，在有导师指导下的学习中，泛化能力可以给出定量的定义。在具有某一个概率分布的样本中随机选取一部分作为神经网络的训练样本，并且首先对这一组样本进行网络训练，最终得出神经网络输出的误差，然后再从全体样本数据中随机选取另一组输入输出数据，用这一批数据对已经训练好的神经网络进行校对，记下它们的校对误差，即神经网络的实际输出与期望输出之差，那么定义为此神经网络的泛化能力。 ## 二、前向神经网络模型 ### 1、前向神经网络概述 （1）前向神经网络是由一层或多层非线性处理单元组成，相邻层之间通过连接权阵（突触权阵），由于前一层的输出作为下一层的输入，因此称此类网络结构为前向神经网络。 （2）单一人工神经元： 约定单一人工神经元用下图所示的符号表示    ### 2、单层神经网络结构  ### 3、多层神经网络结构 多层传播结构是在输入层和输出层之间嵌入一层或多层隐含层的网络结构（隐含层单元中至少含有一个非线性单元）    ### 4、多层传播网络的学习算法 （1）B-P算法（误差反向传播学习算法）原理：  （2）B-P算法学习的具体步骤： ①从训练样例集中取一样例，把输入信息输入到网络中。 ②由网络分别计算各层节点的输出。 ③计算网络的实际输出与期望输出的误差。 ④从输出层反向计算到第一个隐含层，按一定原则（必须确定如何沿减少误差的方向调整连接权值）向减少误差方向调整网络的各个连接权值。 ⑤对训练样例集中的每一个样例重复以上步骤，直到对整个训练样例集的误差达到要求为止。 （3）B-P算法的推导：      （4）B-P算法应用举例：     ## 三、动态神经网络模型 ### 1、动态神经网络概述 （1）由简单非线性神经元互连而成的反馈动力学神经网络系统具有如下两个重要特征： ①系统具有若干个稳定状态，如果从某一初始状态开始运动，系统总可以进入某一稳定状态。 ②系统的稳定状态可以通过改变相连单元的权值而产生。 （2）稳定性是动态神经网络的重要性质，而能量函数是判定网络稳定性的基本概念。神经网络由任一初始状态向稳态的演化过程，实质上是寻找记忆的过程。 （3）神经网络从任一初态开始运动，若存在某一有限的时刻，从以后神经网络的状态不再发生变化，即，则称网络是稳定的，处于稳定时刻的网络状态叫稳定状态又称定点吸引子。 ### 2、带时滞的多层感知器网络 （1）利用多层前向传播网络（静态网络）来描述动态的时间序列，可以简单地将输入信号按照时间坐标展开，并将展开后的所有信息作为静态网络的输入模式，从而实现静态网络来逼近动态时间序列系统。 （2）最简单的带时滞的多层感知器网络结构如下图所示，它可以用如下数学关系式来描述。  （3）带反馈的动态网络系统具有比纯前馈神经网络更优越的性能，通常又称为回归神经网络。一种将反馈引入到神经网络中来的简单方法是将输出的时延直接加到网络的输入端，这一特殊的结构可应用于非线性系统的辨识和控制，它可用如下方程式描述。  ### 3、霍普菲尔特网络 （1）二值型的霍普菲尔特网络（简称DHNN）介绍：      （2）能量井： 神经网络的能量极小状态又称为能量井，能量井的存在为信息的分布存储记忆、神经优化计算提供了基础 如果将记忆的样本信息存储于不同的能量井，则当输入某一模式时，神经网络就能回想起与其相关记忆的样本以实现联想记忆 一旦神经网络的能量井可以由用户选择或产生时，Hopfield网络具有的能力才能得到充分的发挥 能量井的分布是由连接权值决定的，因此，设计能量井的核心是如何获得一组合适的权值，权值的设计有两种方法： ①静态方法：根据求解问题的要求直接计算出所需要的连接权值 ②动态方法：通过提供一种学习机制来训练网络，使其能够自动调整连接权值，产生期望的能量井    （3）常用的Hopfield网络学习规则： ①无监督的Hebb学习规则：  ②有监督的Delta学习规则：  ③有监督的Hebb学习规则： 将无监督的Hebb学习和有监督的Delta学习两者结合起来，可组成有监督Hebb的学习规则，可用下式表示 