深度学习的数值问题

文章目录

梯度下降


往斜率的反方向走。

临界点、驻点、拐点、鞍点、顶点(曲线)、曲率

临界点:在数学中,临界点是指函数的导数为零或者不存在的点。在这些点上,函数可能存在极大值、极小值或者拐点。

驻点:驻点是指函数的导数为零的点。在这些点上,函数可能存在极大值、极小值或者拐点。

拐点:拐点是指函数的曲线在该点处由凹变凸或由凸变凹的点。在拐点处,函数的二阶导数存在且为零。

鞍点:鞍点是指函数在该点上既不是极大值也不是极小值的点。在鞍点处,函数的一阶导数为零,但二阶导数既不为零也不是正负。

现实生活中的例子或类比:想象一个山谷,其中有一座山峰。山峰的顶点就是一个局部最大值点,而山谷的底部则是一个局部最小值点。然而,在山谷的侧面,有一个点既不是山峰的顶点,也不是山谷的底部。这个点就类似于一个鞍点,因为从这个点出发,一个方向上是山谷的底部,而另一个方向上是山峰的顶点。

复制代码
		总结:鞍点是一个在一阶导数为0的点上,从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

顶点(曲线):顶点是指曲线上的最高点或最低点。在顶点处,函数的导数为零,并且二阶导数为负(对于最高点)或正(对于最低点)。

曲率是描述曲线在某一点上弯曲程度的物理量。曲率半径是曲线上某一点处曲率的倒数。

近似优化

预测最佳步长

相关推荐
宁雨桥6 小时前
前端与AI结合实战分享
前端·人工智能
ROBOTGEEKER6 小时前
越疆CR全系列工业协作臂|从3kg轻载到30kg重载,覆盖重复、高精、高危全制造场景
人工智能·机器人·自动化·制造
码农小河666 小时前
AI 一键生成 HTML/CSS/JS 静态网站【压缩包返回可直接提交】
css·人工智能·html
南湖渔歌6 小时前
【成功实践版】workbuddy_把多张图片转成完整Markdown笔记
人工智能·笔记·workbuddy
byte轻骑兵6 小时前
【HID】规范精讲[9]: SDP协议深度解析与实战应用
人工智能·人机交互·键盘·鼠标·hid
艾派森6 小时前
深度学习实战-基于EfficientNetB5的家禽鸡病图像分类识别模型
人工智能·python·深度学习·神经网络·分类
研究点啥好呢6 小时前
快手多模态算法工程师面试题精选:10道高频考题+答案解析
java·开发语言·人工智能·ai·面试·笔试
深海鱼在掘金6 小时前
深入浅出 LangChain —— 第八章:RAG 检索增强生成
人工智能·langchain·agent
深海鱼在掘金6 小时前
深入浅出 LangChain —— 第九章:多 Agent 系统
人工智能·langchain·agent
用户068866817516 小时前
Windows端Codex接入第三方模型(DeekSeek,BaiLian)
人工智能