深度学习的数值问题

文章目录

梯度下降


往斜率的反方向走。

临界点、驻点、拐点、鞍点、顶点(曲线)、曲率

临界点:在数学中,临界点是指函数的导数为零或者不存在的点。在这些点上,函数可能存在极大值、极小值或者拐点。

驻点:驻点是指函数的导数为零的点。在这些点上,函数可能存在极大值、极小值或者拐点。

拐点:拐点是指函数的曲线在该点处由凹变凸或由凸变凹的点。在拐点处,函数的二阶导数存在且为零。

鞍点:鞍点是指函数在该点上既不是极大值也不是极小值的点。在鞍点处,函数的一阶导数为零,但二阶导数既不为零也不是正负。

现实生活中的例子或类比:想象一个山谷,其中有一座山峰。山峰的顶点就是一个局部最大值点,而山谷的底部则是一个局部最小值点。然而,在山谷的侧面,有一个点既不是山峰的顶点,也不是山谷的底部。这个点就类似于一个鞍点,因为从这个点出发,一个方向上是山谷的底部,而另一个方向上是山峰的顶点。

		总结:鞍点是一个在一阶导数为0的点上,从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

顶点(曲线):顶点是指曲线上的最高点或最低点。在顶点处,函数的导数为零,并且二阶导数为负(对于最高点)或正(对于最低点)。

曲率是描述曲线在某一点上弯曲程度的物理量。曲率半径是曲线上某一点处曲率的倒数。

近似优化

预测最佳步长

相关推荐
小王毕业啦34 分钟前
全国832个贫困县名单及精准扶贫脱贫数据(2016-2020.11)
大数据·人工智能·数据挖掘·数据分析·社科数据
jndingxin36 分钟前
OpenCV特征检测(8)检测图像中圆形的函数HoughCircles()的使用
人工智能·opencv·计算机视觉
富士达幸运星3 小时前
卷积神经网络(CNN):深度学习中的视觉奇迹
人工智能·深度学习·cnn
网络研究院6 小时前
由于安全风险,安全领导者考虑禁止人工智能编码
人工智能·安全·开源·开发·风险·技术·代码
hero_heart6 小时前
PointNet2(一)分类
人工智能·分类·数据挖掘
阿W呀7 小时前
MATLAB-最小二乘辨识
人工智能·算法·matlab
RedMery7 小时前
Ubuntu20.04配置NVIDIA+CUDA12.2+CUDNN【附所有下载资源】【亲测有效】【非常详细】
人工智能·windows
SQingL7 小时前
用OPenCV分割视频
人工智能·opencv·音视频
洋葱土豆和香菜7 小时前
图像处理与分析
图像处理·人工智能
神奇的代码在哪里7 小时前
MiniCPM3-4B | 笔记本电脑运行端侧大模型OpenBMB/MiniCPM3-4B-GPTQ-Int4量化版 | PyCharm环境
人工智能·大模型·gptq·minicpm·端侧大模型