NN:神经网络

预测好坏的判断标准:

三个公设(对f(X)函数值修饰后进行判断):

  1. 间隔最大
  2. 似然值(w变化,不是x)(概率)最大<-->交叉熵最大
  3. 方差最小

激活函数是为了得出结果,损失函数是为了让结果最佳

机器学习三大要素:

  1. 模型(隐藏层)
  2. 策略(公设)(输出层)
  3. 算法(反向传播,关键为梯度下降法)

ps:梯度下降法的步长(学习率lr)是一个超参数

神经网络:

1. 可看做数据升维
  1. 输入层(数据处理)数据的维度

一个平面的原因是,没激活函数的情况下,w1x1+w2x2+b=z是个线性函数

分界线:二维平面里的线到n维空间里的超平面

ps

  • 激活函数,非线性

  • 权重weight和偏置bias

  • 神经网络的复杂性来源于激活函数

  1. 隐藏层(让模型更复杂)

中间的神经元个数可以对数据进行升维操作,再找到一个超平面对数据进行划分

ps:升维操作,完成维度的映射

  1. 输出层

神经网络可以有多个输出节点,处理多分类问题

多分类问题,本质上是多个二分类问题,每个节点都在进行二分类判断

输出结果使用softmax描述,进行归一处理(各分类的概率分布)

softmax可以看做是sigmoid函数的扩展和升级

分母是所有分类数值的和,分子是各个分类自己的数值,计算出的是各分类的概率(归一)

可看做数据降维

进行数据的降维操作,提取特征,不需要原始数据的所有维度

隐藏层越深,抽象程度越高

王木头up主哔站视频:

学习分享一年,对神经网络的理解全都在这40分钟里了

梯度消失是由于深层神经网络在链式求导时,连乘项的绝对值小于1导致的(例如使用sigmoid激活函数时,远离原点处的梯度接近于0),不是由于学习率的高次方导致的。

梯度消失是由于深层神经网络在链式求导时,连乘项的绝对值小于1导致的(例如使用sigmoid激活函数时,远离原点处的梯度接近于0),不是由于学习率的高次方导致的。

并且在梯度下降过程中更新梯度时,每一层参数的梯度项乘的是同一个学习率,不存在次方的情况。

相关推荐
大数据张老师4 分钟前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
音视频牛哥32 分钟前
如何打造毫秒级响应的RTSP播放器:架构拆解与实战优化指南
人工智能·机器人·音视频开发
张较瘦_40 分钟前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
go546315846543 分钟前
Python点阵字生成与优化:从基础实现到高级渲染技术
开发语言·人工智能·python·深度学习·分类·数据挖掘
Coovally AI模型快速验证1 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
人工智能·深度学习·yolo·计算机视觉·目标跟踪·无人机
巫婆理发2221 小时前
神经网络(第二课第一周)
人工智能·深度学习·神经网络
欧阳小猜2 小时前
OpenCV-图像预处理➁【图像插值方法、边缘填充策略、图像矫正、掩膜应用、水印添加,图像的噪点消除】
人工智能·opencv·计算机视觉
旭日东升的xu.2 小时前
OpenCV(04)梯度处理,边缘检测,绘制轮廓,凸包特征检测,轮廓特征查找
人工智能·opencv·计算机视觉
liliangcsdn2 小时前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
qyhua2 小时前
Windows 平台源码部署 Dify教程(不依赖 Docker)
人工智能·windows·python