深度学习的数值问题

文章目录

梯度下降


往斜率的反方向走。

临界点、驻点、拐点、鞍点、顶点(曲线)、曲率

临界点:在数学中,临界点是指函数的导数为零或者不存在的点。在这些点上,函数可能存在极大值、极小值或者拐点。

驻点:驻点是指函数的导数为零的点。在这些点上,函数可能存在极大值、极小值或者拐点。

拐点:拐点是指函数的曲线在该点处由凹变凸或由凸变凹的点。在拐点处,函数的二阶导数存在且为零。

鞍点:鞍点是指函数在该点上既不是极大值也不是极小值的点。在鞍点处,函数的一阶导数为零,但二阶导数既不为零也不是正负。

现实生活中的例子或类比:想象一个山谷,其中有一座山峰。山峰的顶点就是一个局部最大值点,而山谷的底部则是一个局部最小值点。然而,在山谷的侧面,有一个点既不是山峰的顶点,也不是山谷的底部。这个点就类似于一个鞍点,因为从这个点出发,一个方向上是山谷的底部,而另一个方向上是山峰的顶点。

复制代码
		总结:鞍点是一个在一阶导数为0的点上,从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

顶点(曲线):顶点是指曲线上的最高点或最低点。在顶点处,函数的导数为零,并且二阶导数为负(对于最高点)或正(对于最低点)。

曲率是描述曲线在某一点上弯曲程度的物理量。曲率半径是曲线上某一点处曲率的倒数。

近似优化

预测最佳步长

相关推荐
小程故事多_803 小时前
OpenClaw工具引擎架构全解析,AI Agent的“双手”如何落地实操
人工智能·架构·aigc·ai编程·openclaw
qq_452396233 小时前
【AI 架构师】第十篇:Agent 工业化部署 —— 从 FastAPI 到云端全链路监控
网络·人工智能·ai·fastapi
前端摸鱼匠3 小时前
【AI大模型春招面试题11】什么是模型的“涌现能力”(Emergent Ability)?出现条件是什么?
人工智能·算法·ai·自然语言处理·面试·职场和发展
新缸中之脑3 小时前
如何合法地逆向SynthID
人工智能
剑穗挂着新流苏3124 小时前
115_PyTorch 实战:从零搭建 CIFAR-10 完整训练与测试流水线
人工智能·pytorch·深度学习·神经网络
Veggie264 小时前
【Java深度学习】PyTorch On Java 系列课程 第八章 17 :模型评估【AI Infra 3.0】[PyTorch Java 硕士研一课程]
java·人工智能·深度学习
链上杯子4 小时前
《2026 LangChain零基础入门:用AI应用框架快速搭建智能助手》第8课(完结篇):小项目实战 + 部署 —— 构建网页版个人知识库 AI 助手
人工智能·langchain
东方不败之鸭梨的测试笔记4 小时前
AI生成测试用例方案
人工智能·测试用例
笨手笨脚の5 小时前
AI 基础概念
人工智能·大模型·prompt·agent·tool
飞睿科技5 小时前
解析 ESP-AirPuff 泡芙一号的 ESP32-P4 大模型 AI 智能体方案
人工智能