深度学习的数学基础--Homework2

学习资料:https://www.bilibili.com/video/BV1mg4y187qv/?spm_id_from=333.788.recommend_more_video.1\&vd_source=d6b1de7f052664abab680fc242ef9bc1

神经网络的特点:它不是一个解析模型,它的储存在一堆参数里面(确定一个超平面),很难解释物理意义是什么,不能直观看出来。

评价网络的好坏:主要看的不是它的精度,而是看它是否具有很好的泛化能力(测试集)。

1943 M-P模型的3种形式(文字、公式、图形描述神经元)->1958 单层感知器->1986 误差反向传播(解决隐层权重求解)作为多层感知器的算法

Note:

1.数学模型是抽象出来的,所以把不方便考虑到可以简化掉

2.加权求和--实际上是对神经元接收到的信号进行空间整合(为什么没有时间整合,因为模型假设认为信号同时到达的)

3.为什么要有阈值:并不是膜电位改变后一定有输出,有输出的一定是膜电位改变超过了阈值,超过阈值以后才产生一个输出,这个【输出】和【改变后超出阈值的膜电位变化值】之间是一个函数关系,f是输出函数/转移函数/激活函数 ,x(t)是输入信号

4.多层感知器(又称三层BP网),因为大部分多层感知器的算法是BP算法,但实际上还有其它算法。此处三层包括了输入层,实际上具有信号处理能力的层只有两层。

5.误差信号 δ j y \delta_{j}^{y} δjy, δ k o \delta_{k}^{o} δko≠误差 Δ v \Delta{v} Δv, Δ w \Delta{w} Δw。为什么引入误差信号的概念呢?从网络前向传播角度看,可以方便表示权值修正公式;从网络反向传播角度看,将误差信号作为输入层可以计算隐藏层的误差。

误差信号的构成有三个部分。

6.为什么要进行误差反传:由于只有输出层有教师信号(监督信号),输出层误差可以计算,而中间层并没有教师信号,所以这导致隐藏层的误差无法计算,因此也无法得到权值调整公式 Δ v \Delta{v} Δv。

为了能够调整初始化的权值参数/让婴儿的大脑习得知识,我们用输出层的误差信号反传(反传过程中,误差信号相当于一个输入向量,需要对输入向量加权求和),从而得到隐藏层的误差信号。一旦隐藏层的误差信号有了,就可以算出来权值调整公式即隐藏层的误差。简言之,为了反传时可以根据误差信号获得隐藏层的误差)

单层感知器的功能:线性分类器分类的原理:把分类的知识分布式地存储在权向量(参数)里面

调参:就是调整分类界面的位置

相关推荐
羑悻的小杀马特24 分钟前
OpenCV 引擎:驱动实时应用开发的科技狂飙
人工智能·科技·opencv·计算机视觉
guanshiyishi3 小时前
ABeam 德硕 | 中国汽车市场(2)——新能源车的崛起与中国汽车市场机遇与挑战
人工智能
极客天成ScaleFlash4 小时前
极客天成NVFile:无缓存直击存储性能天花板,重新定义AI时代并行存储新范式
人工智能·缓存
Uzuki4 小时前
AI可解释性 II | Saliency Maps-based 归因方法(Attribution)论文导读(持续更新)
深度学习·机器学习·可解释性
澳鹏Appen5 小时前
AI安全:构建负责任且可靠的系统
人工智能·安全
蹦蹦跳跳真可爱5895 小时前
Python----机器学习(KNN:使用数学方法实现KNN)
人工智能·python·机器学习
视界宝藏库6 小时前
多元 AI 配音软件,打造独特音频体验
人工智能
xinxiyinhe6 小时前
GitHub上英语学习工具的精选分类汇总
人工智能·deepseek·学习英语精选
ZStack开发者社区7 小时前
全球化2.0 | ZStack举办香港Partner Day,推动AIOS智塔+DeepSeek海外实践
人工智能·云计算
Spcarrydoinb8 小时前
基于yolo11的BGA图像目标检测
人工智能·目标检测·计算机视觉