数据挖掘——神经网络分类

神经网络分类

神经网络分类

人工神经网络

人工神经网络主要由大量的神经元以及它们之间的有向连接构成。包含三个方面:

  1. 神经元的激活规则
    • 主要是指神经元输入到输出之间的映射关系,一般为非线性函数
  2. 网络的拓扑结构
    • 不同神经元之间的连接关系。
  3. 学习算法
    • 通过训练数据来学习神经网络的参数。

多层人工神经网络

人工神经网络比感知机模型复杂
输入层和输出层之间包含隐藏层

激活函数可以是多种函数

比较常见的有ReLU和Logistic函数

误差反向传播(BP)网络

激活函数

  • 必须处处可导
    • 一般都使用S型函数

使用S型激活函数时BP网络输入与输出关系

学习的类型:监督式学习

核心思想:

将输出误差以某种形式 通过隐层向输入层逐层反传

学习的过程

  • 信号的正向传播
  • 误差的反向传播

后向传播算法

初始化权重:循环以下两步,直到满足条件

  1. 向前传播输入
    在每个节点加权求和,再代入激活函数
  2. 向后传播误差

后向传播BP网络注意事项

初始值选择

  • 权值向量以及阀值的初始值应设定在一均匀分布的小范围内
  • 初始值不能为零 ,否则性能曲面会趋向于鞍点
  • 初始值不能太大,否则远离优化点,导致性能曲面平坦,学习率很慢

训练样本输入次序

  • 不同,也会造成不一样的学习结果
  • 在每一次的学习循环中,输入向量输入网络的次序应使其不同

BP算法的学习过程的终止条件

  • 权值向量的梯度 < 给定值
  • 均方误差值 < 给定误差容限值
  • 若其推广能力达到目标则予终止
  • 可以结合上述各种方式
相关推荐
卧式纯绿3 分钟前
每日文献(八)——Part one
人工智能·yolo·目标检测·计算机视觉·目标跟踪·cnn
巷95510 分钟前
OpenCV图像形态学:原理、操作与应用详解
人工智能·opencv·计算机视觉
深蓝易网39 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong81 小时前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar1 小时前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享1 小时前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶2 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈2 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon2 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V2 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai