NN:神经网络

预测好坏的判断标准:

三个公设(对f(X)函数值修饰后进行判断):

  1. 间隔最大
  2. 似然值(w变化,不是x)(概率)最大<-->交叉熵最大
  3. 方差最小

激活函数是为了得出结果,损失函数是为了让结果最佳

机器学习三大要素:

  1. 模型(隐藏层)
  2. 策略(公设)(输出层)
  3. 算法(反向传播,关键为梯度下降法)

ps:梯度下降法的步长(学习率lr)是一个超参数

神经网络:

1. 可看做数据升维
  1. 输入层(数据处理)数据的维度

一个平面的原因是,没激活函数的情况下,w1x1+w2x2+b=z是个线性函数

分界线:二维平面里的线到n维空间里的超平面

ps

  • 激活函数,非线性

  • 权重weight和偏置bias

  • 神经网络的复杂性来源于激活函数

  1. 隐藏层(让模型更复杂)

中间的神经元个数可以对数据进行升维操作,再找到一个超平面对数据进行划分

ps:升维操作,完成维度的映射

  1. 输出层

神经网络可以有多个输出节点,处理多分类问题

多分类问题,本质上是多个二分类问题,每个节点都在进行二分类判断

输出结果使用softmax描述,进行归一处理(各分类的概率分布)

softmax可以看做是sigmoid函数的扩展和升级

分母是所有分类数值的和,分子是各个分类自己的数值,计算出的是各分类的概率(归一)

可看做数据降维

进行数据的降维操作,提取特征,不需要原始数据的所有维度

隐藏层越深,抽象程度越高

王木头up主哔站视频:

学习分享一年,对神经网络的理解全都在这40分钟里了

梯度消失是由于深层神经网络在链式求导时,连乘项的绝对值小于1导致的(例如使用sigmoid激活函数时,远离原点处的梯度接近于0),不是由于学习率的高次方导致的。

梯度消失是由于深层神经网络在链式求导时,连乘项的绝对值小于1导致的(例如使用sigmoid激活函数时,远离原点处的梯度接近于0),不是由于学习率的高次方导致的。

并且在梯度下降过程中更新梯度时,每一层参数的梯度项乘的是同一个学习率,不存在次方的情况。

相关推荐
xiaohanbao0920 分钟前
理解神经网络流程
python·神经网络
心无旁骛~36 分钟前
【OpenArm|Control】openarm机械臂ROS2仿真控制
人工智能·ros
程序员陆业聪1 小时前
AI智能体的未来:从语言泛化到交互革命
人工智能
小小程序媛(*^▽^*)1 小时前
第十二届全国社会媒体处理大会笔记
人工智能·笔记·学习·ai
却道天凉_好个秋1 小时前
OpenCV(二):加载图片
人工智能·opencv·计算机视觉
音视频牛哥1 小时前
系统级超低延迟音视频直播模块时代:如何构建可控、可扩展的实时媒体底座
人工智能·音视频·大牛直播sdk·rtsp播放器·rtmp播放器·rtsp服务器·rtmp同屏推流
学無芷境2 小时前
VOCO摘要
人工智能
格林威2 小时前
机器视觉的工业镜头有哪些?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
Jolie_Liang2 小时前
保险业多模态数据融合与智能化运营架构:技术演进、应用实践与发展趋势
大数据·人工智能·架构
烽火连城诀2 小时前
人工智能在工程项目进度预测与风险识别中的应用
人工智能·文献综述·如何写文献综述·文献综述模板·文献综述怎么写