深度学习的数值问题

文章目录

梯度下降


往斜率的反方向走。

临界点、驻点、拐点、鞍点、顶点(曲线)、曲率

临界点:在数学中,临界点是指函数的导数为零或者不存在的点。在这些点上,函数可能存在极大值、极小值或者拐点。

驻点:驻点是指函数的导数为零的点。在这些点上,函数可能存在极大值、极小值或者拐点。

拐点:拐点是指函数的曲线在该点处由凹变凸或由凸变凹的点。在拐点处,函数的二阶导数存在且为零。

鞍点:鞍点是指函数在该点上既不是极大值也不是极小值的点。在鞍点处,函数的一阶导数为零,但二阶导数既不为零也不是正负。

现实生活中的例子或类比:想象一个山谷,其中有一座山峰。山峰的顶点就是一个局部最大值点,而山谷的底部则是一个局部最小值点。然而,在山谷的侧面,有一个点既不是山峰的顶点,也不是山谷的底部。这个点就类似于一个鞍点,因为从这个点出发,一个方向上是山谷的底部,而另一个方向上是山峰的顶点。

复制代码
		总结:鞍点是一个在一阶导数为0的点上,从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

顶点(曲线):顶点是指曲线上的最高点或最低点。在顶点处,函数的导数为零,并且二阶导数为负(对于最高点)或正(对于最低点)。

曲率是描述曲线在某一点上弯曲程度的物理量。曲率半径是曲线上某一点处曲率的倒数。

近似优化

预测最佳步长

相关推荐
许泽宇的技术分享几秒前
当AI学会拍短剧:Huobao Drama全栈AI短剧生成平台深度解析
人工智能
爱喝可乐的老王1 分钟前
机器学习监督学习模型--线性回归
人工智能·机器学习·线性回归
金融Tech趋势派2 分钟前
2025企业微信私有化部署优秀服务商:微盛·企微管家方案解析
人工智能·企业微信·scrm
Gofarlic_oms112 分钟前
跨国企业Cadence许可证全球统一管理方案
java·大数据·网络·人工智能·汽车
AAD5558889912 分钟前
牛肝菌目标检测:基于YOLOv8-CFPT-P2345模型的创新实现与应用_1
人工智能·yolo·目标检测
幂链iPaaS25 分钟前
制造业/零售电商ERP和MES系统集成指南
大数据·人工智能
gorgeous(๑>؂<๑)31 分钟前
【中国科学院光电研究所-张建林组-AAAI26】追踪不稳定目标:基于外观引导的运动建模在无人机拍摄视频中实现稳健的多目标跟踪
人工智能·机器学习·计算机视觉·目标跟踪·无人机
美狐美颜sdk38 分钟前
企业级直播美颜SDK与动态贴纸SDK开发技术方案拆解与落地实践
android·人工智能·计算机视觉·第三方美颜sdk·人脸美型sdk
不如语冰39 分钟前
AI大模型入门1.1-python基础-数据结构
数据结构·人工智能·pytorch·python·cnn
oscar9991 小时前
机器学习实战:多项式回归建模——从模拟数据到模型评估
人工智能·机器学习·回归