深度学习的数学基础--Homework2

学习资料:https://www.bilibili.com/video/BV1mg4y187qv/?spm_id_from=333.788.recommend_more_video.1\&vd_source=d6b1de7f052664abab680fc242ef9bc1

神经网络的特点:它不是一个解析模型,它的储存在一堆参数里面(确定一个超平面),很难解释物理意义是什么,不能直观看出来。

评价网络的好坏:主要看的不是它的精度,而是看它是否具有很好的泛化能力(测试集)。

1943 M-P模型的3种形式(文字、公式、图形描述神经元)->1958 单层感知器->1986 误差反向传播(解决隐层权重求解)作为多层感知器的算法

Note:

1.数学模型是抽象出来的,所以把不方便考虑到可以简化掉

2.加权求和--实际上是对神经元接收到的信号进行空间整合(为什么没有时间整合,因为模型假设认为信号同时到达的)

3.为什么要有阈值:并不是膜电位改变后一定有输出,有输出的一定是膜电位改变超过了阈值,超过阈值以后才产生一个输出,这个【输出】和【改变后超出阈值的膜电位变化值】之间是一个函数关系,f是输出函数/转移函数/激活函数 ,x(t)是输入信号

4.多层感知器(又称三层BP网),因为大部分多层感知器的算法是BP算法,但实际上还有其它算法。此处三层包括了输入层,实际上具有信号处理能力的层只有两层。

5.误差信号 δ j y \delta_{j}^{y} δjy, δ k o \delta_{k}^{o} δko≠误差 Δ v \Delta{v} Δv, Δ w \Delta{w} Δw。为什么引入误差信号的概念呢?从网络前向传播角度看,可以方便表示权值修正公式;从网络反向传播角度看,将误差信号作为输入层可以计算隐藏层的误差。

误差信号的构成有三个部分。

6.为什么要进行误差反传:由于只有输出层有教师信号(监督信号),输出层误差可以计算,而中间层并没有教师信号,所以这导致隐藏层的误差无法计算,因此也无法得到权值调整公式 Δ v \Delta{v} Δv。

为了能够调整初始化的权值参数/让婴儿的大脑习得知识,我们用输出层的误差信号反传(反传过程中,误差信号相当于一个输入向量,需要对输入向量加权求和),从而得到隐藏层的误差信号。一旦隐藏层的误差信号有了,就可以算出来权值调整公式即隐藏层的误差。简言之,为了反传时可以根据误差信号获得隐藏层的误差)

单层感知器的功能:线性分类器分类的原理:把分类的知识分布式地存储在权向量(参数)里面

调参:就是调整分类界面的位置

相关推荐
阿坡RPA2 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049932 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心2 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI4 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c5 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2055 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清6 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh6 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员6 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物6 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技