DataWhale-吃瓜教程学习笔记 (六)

学习视频**:第4章-决策树_哔哩哔哩_bilibili
西瓜书对应章节: 第五章 5.1;5.2;5.3


文章目录

  • [MP 神经元](#MP 神经元)
    • [- 感知机模型 (分类模型)](#- 感知机模型 (分类模型))
        • [-- 损失函数定义](#-- 损失函数定义)
          • [--- 感知机学习算法 - 随机梯度下降法](#--- 感知机学习算法 - 随机梯度下降法)
    • [- 神经网络需要解决的问题](#- 神经网络需要解决的问题)
    • [- 误差逆传播算法](#- 误差逆传播算法)

MP 神经元

接收n个收入,并给各个输入赋予计算加权和,并且和自身特有的阈值进行比较(作减法),最后经过处理得到输出。

  • 单个MP神经元:感知机 (sgn 感知函数) ; 对数几率回归 (sigmoid)作为激活函数
  • 多个MP神经元: 神经网络

- 感知机模型 (分类模型)

几何的角度看,感知机的作用是 给定一个数据集D,求得对数据集中样本进行二分类的超平面。

  • 其超平面方程不唯一
  • w 与超平面垂直
  • w 和 b 确定唯一的超平面
  • w 指向正的超平面
  • 恒成立公式:
-- 损失函数定义

特点

  • 永远是非负的
  • 没有误分类点,损失函数为0
  • 误分类点越少,离超平面越近,损失函数值越小

将其中的 − Θ -\Theta −Θ 看作一定值的变量,写作 w T x i w^T x_i wTxi 的形式作为第 n+1 位,可将上式简化为


--- 感知机学习算法 - 随机梯度下降法

- 神经网络需要解决的问题

  • 面对一个具体场景,神经网络该做多深?多宽?
  • 面对一个具体场景,神经网络的结构该如何设计才最合理?
  • 面对一个具体场景,神经网络的输出结果该如何解释?
  • 原则上, 神经网络能够以 任意精度 逼近 任意复杂度连续 函数。

  • 神经网络能够自己比较好的处理特征的问题


- 误差逆传播算法

BP算法 基于随机梯度下降的参数更新算法

  • 随机梯度下降 不能保证一定走到 全局最小点 , 大部分情况下走到的是 局部最小点

相关推荐
m0_746177191 小时前
小白进阶shell学习-----脚本实战案例
前端·chrome·学习
GISDance2 小时前
26考研 专业课 百度网盘夸克网盘
学习·考研
USER_A0013 小时前
高等数学(下)题型笔记(八)空间解析几何与向量代数
笔记·高等数学
YKPG3 小时前
C++学习-入门到精通【17】自定义的模板化数据结构
数据结构·c++·学习
156993 小时前
大语言模型原理与书生大模型提示词工程实践-学习笔记
笔记·学习·语言模型
Lasgalena4 小时前
【小记】2024-2025生物计算类热点问题
笔记·deep learning
武昌库里写JAVA6 小时前
iview组件库:关于分页组件的使用与注意点
java·vue.js·spring boot·学习·课程设计
人有一心7 小时前
【论文阅读】多任务学习起源类论文《Multi-Task Feature Learning》
论文阅读·学习
HaiQinyanAN7 小时前
【学习笔记】虚函数+虚析构函数
c++·笔记·学习
虾球xz7 小时前
CppCon 2015 学习:Give me fifteen minutes and I’ll change your view of GDB
开发语言·c++·学习