深度学习的数值问题

文章目录

梯度下降


往斜率的反方向走。

临界点、驻点、拐点、鞍点、顶点(曲线)、曲率

临界点:在数学中,临界点是指函数的导数为零或者不存在的点。在这些点上,函数可能存在极大值、极小值或者拐点。

驻点:驻点是指函数的导数为零的点。在这些点上,函数可能存在极大值、极小值或者拐点。

拐点:拐点是指函数的曲线在该点处由凹变凸或由凸变凹的点。在拐点处,函数的二阶导数存在且为零。

鞍点:鞍点是指函数在该点上既不是极大值也不是极小值的点。在鞍点处,函数的一阶导数为零,但二阶导数既不为零也不是正负。

现实生活中的例子或类比:想象一个山谷,其中有一座山峰。山峰的顶点就是一个局部最大值点,而山谷的底部则是一个局部最小值点。然而,在山谷的侧面,有一个点既不是山峰的顶点,也不是山谷的底部。这个点就类似于一个鞍点,因为从这个点出发,一个方向上是山谷的底部,而另一个方向上是山峰的顶点。

复制代码
		总结:鞍点是一个在一阶导数为0的点上,从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

顶点(曲线):顶点是指曲线上的最高点或最低点。在顶点处,函数的导数为零,并且二阶导数为负(对于最高点)或正(对于最低点)。

曲率是描述曲线在某一点上弯曲程度的物理量。曲率半径是曲线上某一点处曲率的倒数。

近似优化

预测最佳步长

相关推荐
Hugh-Yu-130123几秒前
【Agent与传统AI的区别:一场技术革新的深度剖析】
人工智能
事变天下2 分钟前
咕咚2026年赛事合作全面进阶,科技赋能开启运动生态新征程
人工智能·科技
豆沙糕4 分钟前
大模型面试高频题:请详细讲解检索中的BM25算法
人工智能·算法
AI效率工坊9 分钟前
【Python实战】10万行数据自动清洗:pandas+AI智能识别+异常检测完整方案
人工智能·python·pandas
后厂村16 分钟前
多模态 LLM Wiki Skill
人工智能
挂科边缘16 分钟前
【PASCAL VOC 数据集介绍篇】目标检测与分割常用的数据集:PASCAL VOC 数据集全版本详解与避坑指南
人工智能·目标检测·计算机视觉
GrowAdmin19 分钟前
你真的了解Agent Skills吗?一文讲清它的“发现-激活-执行”
人工智能
风吹花动叶随雪落20 分钟前
怎么下载venv,安装python环境
人工智能
侠客工坊21 分钟前
大模型落地移动端:解析侠客工坊端侧 Agent 的零拷贝(Zero-Copy)屏幕感知与空间映射
android·人工智能
yuan1999723 分钟前
OpenCV ViBe 运动检测算法实现
人工智能·opencv·算法