NN:神经网络

预测好坏的判断标准:

三个公设(对f(X)函数值修饰后进行判断):

  1. 间隔最大
  2. 似然值(w变化,不是x)(概率)最大<-->交叉熵最大
  3. 方差最小

激活函数是为了得出结果,损失函数是为了让结果最佳

机器学习三大要素:

  1. 模型(隐藏层)
  2. 策略(公设)(输出层)
  3. 算法(反向传播,关键为梯度下降法)

ps:梯度下降法的步长(学习率lr)是一个超参数

神经网络:

1. 可看做数据升维
  1. 输入层(数据处理)数据的维度

一个平面的原因是,没激活函数的情况下,w1x1+w2x2+b=z是个线性函数

分界线:二维平面里的线到n维空间里的超平面

ps

  • 激活函数,非线性

  • 权重weight和偏置bias

  • 神经网络的复杂性来源于激活函数

  1. 隐藏层(让模型更复杂)

中间的神经元个数可以对数据进行升维操作,再找到一个超平面对数据进行划分

ps:升维操作,完成维度的映射

  1. 输出层

神经网络可以有多个输出节点,处理多分类问题

多分类问题,本质上是多个二分类问题,每个节点都在进行二分类判断

输出结果使用softmax描述,进行归一处理(各分类的概率分布)

softmax可以看做是sigmoid函数的扩展和升级

分母是所有分类数值的和,分子是各个分类自己的数值,计算出的是各分类的概率(归一)

可看做数据降维

进行数据的降维操作,提取特征,不需要原始数据的所有维度

隐藏层越深,抽象程度越高

王木头up主哔站视频:

学习分享一年,对神经网络的理解全都在这40分钟里了

梯度消失是由于深层神经网络在链式求导时,连乘项的绝对值小于1导致的(例如使用sigmoid激活函数时,远离原点处的梯度接近于0),不是由于学习率的高次方导致的。

梯度消失是由于深层神经网络在链式求导时,连乘项的绝对值小于1导致的(例如使用sigmoid激活函数时,远离原点处的梯度接近于0),不是由于学习率的高次方导致的。

并且在梯度下降过程中更新梯度时,每一层参数的梯度项乘的是同一个学习率,不存在次方的情况。

相关推荐
中杯可乐多加冰10 分钟前
【AI落地应用实战】AIGC赋能职场PPT汇报:从效率工具到辅助优化
人工智能·深度学习·神经网络·aigc·powerpoint·ai赋能
东临碣石8220 分钟前
【AI论文】BlenderFusion:基于三维场景的视觉编辑与生成式合成
人工智能
正在走向自律21 分钟前
第二章-AIGC入门-开启AIGC音频探索之旅:从入门到实践(6/36)
人工智能·aigc·音视频·语音识别·ai音乐·ai 音频·智能语音助手
Trent198527 分钟前
影楼精修-智能修图Agent
图像处理·人工智能·计算机视觉·aigc
烟锁池塘柳028 分钟前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
盼小辉丶44 分钟前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Allen_LVyingbo1 小时前
数智读书笔记系列035《未来医疗:医疗4.0引领第四次医疗产业变革》
人工智能·经验分享·笔记·健康医疗
zzc9212 小时前
时频图数据集更正程序,去除坐标轴白边及调整对应的标签值
人工智能·深度学习·数据集·标签·时频图·更正·白边
isNotNullX2 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
riveting2 小时前
明远智睿H618:开启多场景智慧生活新时代
人工智能·嵌入式硬件·智能硬件·lga封装·3506