深度学习的数学基础--Homework2

学习资料:https://www.bilibili.com/video/BV1mg4y187qv/?spm_id_from=333.788.recommend_more_video.1\&vd_source=d6b1de7f052664abab680fc242ef9bc1

神经网络的特点:它不是一个解析模型,它的储存在一堆参数里面(确定一个超平面),很难解释物理意义是什么,不能直观看出来。

评价网络的好坏:主要看的不是它的精度,而是看它是否具有很好的泛化能力(测试集)。

1943 M-P模型的3种形式(文字、公式、图形描述神经元)->1958 单层感知器->1986 误差反向传播(解决隐层权重求解)作为多层感知器的算法

Note:

1.数学模型是抽象出来的,所以把不方便考虑到可以简化掉

2.加权求和--实际上是对神经元接收到的信号进行空间整合(为什么没有时间整合,因为模型假设认为信号同时到达的)

3.为什么要有阈值:并不是膜电位改变后一定有输出,有输出的一定是膜电位改变超过了阈值,超过阈值以后才产生一个输出,这个【输出】和【改变后超出阈值的膜电位变化值】之间是一个函数关系,f是输出函数/转移函数/激活函数 ,x(t)是输入信号

4.多层感知器(又称三层BP网),因为大部分多层感知器的算法是BP算法,但实际上还有其它算法。此处三层包括了输入层,实际上具有信号处理能力的层只有两层。

5.误差信号 δ j y \delta_{j}^{y} δjy, δ k o \delta_{k}^{o} δko≠误差 Δ v \Delta{v} Δv, Δ w \Delta{w} Δw。为什么引入误差信号的概念呢?从网络前向传播角度看,可以方便表示权值修正公式;从网络反向传播角度看,将误差信号作为输入层可以计算隐藏层的误差。

误差信号的构成有三个部分。

6.为什么要进行误差反传:由于只有输出层有教师信号(监督信号),输出层误差可以计算,而中间层并没有教师信号,所以这导致隐藏层的误差无法计算,因此也无法得到权值调整公式 Δ v \Delta{v} Δv。

为了能够调整初始化的权值参数/让婴儿的大脑习得知识,我们用输出层的误差信号反传(反传过程中,误差信号相当于一个输入向量,需要对输入向量加权求和),从而得到隐藏层的误差信号。一旦隐藏层的误差信号有了,就可以算出来权值调整公式即隐藏层的误差。简言之,为了反传时可以根据误差信号获得隐藏层的误差)

单层感知器的功能:线性分类器分类的原理:把分类的知识分布式地存储在权向量(参数)里面

调参:就是调整分类界面的位置

相关推荐
VIP_CQCRE4 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷5 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我6 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁016 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn7 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄7 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下8 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码8 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下9 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩9 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek