吴恩达2022机器学习专项课程(一) 4.5 线性回归的梯度下降

问题预览/关键词

  1. 本节内容
  2. 梯度下降公式
  3. 梯度下降公式的推导过程
  4. 梯度下降在线性回归误差平方成本函数的收敛
  5. 梯度下降在多曲面的收敛

笔记

1.本节内容

给线性回归模型的误差平方成本函数执行梯度下降。

2.梯度下降公式

线性回归下误差成本函数的梯度下降公式。

3.梯度下降公式的推导过程

J对w求导的过程。

J对b求导的过程。

4.误差平方成本函数

3.5课节展示的倒扣碗状,是线性回归的误差平方成本函数,也叫做凸函数,只有一个最小值。因此对这个函数执行梯度下降,只要学习率选择合适,梯度下降总是在全局最小值的时刻收敛。

5.多曲面

3.5课节展示的多曲面形状,是其它类型的成本函数,有多个局部最小值,因此梯度下降的收敛情况不同。

相关推荐
Csvn6 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考7 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考7 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库8 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静8 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康8 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea9 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen9 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷10 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘10 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习