深度学习的数学基础--Homework2

学习资料:https://www.bilibili.com/video/BV1mg4y187qv/?spm_id_from=333.788.recommend_more_video.1\&vd_source=d6b1de7f052664abab680fc242ef9bc1

神经网络的特点:它不是一个解析模型,它的储存在一堆参数里面(确定一个超平面),很难解释物理意义是什么,不能直观看出来。

评价网络的好坏:主要看的不是它的精度,而是看它是否具有很好的泛化能力(测试集)。

1943 M-P模型的3种形式(文字、公式、图形描述神经元)->1958 单层感知器->1986 误差反向传播(解决隐层权重求解)作为多层感知器的算法

Note:

1.数学模型是抽象出来的,所以把不方便考虑到可以简化掉

2.加权求和--实际上是对神经元接收到的信号进行空间整合(为什么没有时间整合,因为模型假设认为信号同时到达的)

3.为什么要有阈值:并不是膜电位改变后一定有输出,有输出的一定是膜电位改变超过了阈值,超过阈值以后才产生一个输出,这个【输出】和【改变后超出阈值的膜电位变化值】之间是一个函数关系,f是输出函数/转移函数/激活函数 ,x(t)是输入信号

4.多层感知器(又称三层BP网),因为大部分多层感知器的算法是BP算法,但实际上还有其它算法。此处三层包括了输入层,实际上具有信号处理能力的层只有两层。

5.误差信号 δ j y \delta_{j}^{y} δjy, δ k o \delta_{k}^{o} δko≠误差 Δ v \Delta{v} Δv, Δ w \Delta{w} Δw。为什么引入误差信号的概念呢?从网络前向传播角度看,可以方便表示权值修正公式;从网络反向传播角度看,将误差信号作为输入层可以计算隐藏层的误差。

误差信号的构成有三个部分。

6.为什么要进行误差反传:由于只有输出层有教师信号(监督信号),输出层误差可以计算,而中间层并没有教师信号,所以这导致隐藏层的误差无法计算,因此也无法得到权值调整公式 Δ v \Delta{v} Δv。

为了能够调整初始化的权值参数/让婴儿的大脑习得知识,我们用输出层的误差信号反传(反传过程中,误差信号相当于一个输入向量,需要对输入向量加权求和),从而得到隐藏层的误差信号。一旦隐藏层的误差信号有了,就可以算出来权值调整公式即隐藏层的误差。简言之,为了反传时可以根据误差信号获得隐藏层的误差)

单层感知器的功能:线性分类器分类的原理:把分类的知识分布式地存储在权向量(参数)里面

调参:就是调整分类界面的位置

相关推荐
AI算力5 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷5 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件6 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn6 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天6 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn6 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT6 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn7 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读8 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习