吴恩达2022机器学习专项课程(一) 4.5 线性回归的梯度下降

问题预览/关键词

  1. 本节内容
  2. 梯度下降公式
  3. 梯度下降公式的推导过程
  4. 梯度下降在线性回归误差平方成本函数的收敛
  5. 梯度下降在多曲面的收敛

笔记

1.本节内容

给线性回归模型的误差平方成本函数执行梯度下降。

2.梯度下降公式

线性回归下误差成本函数的梯度下降公式。

3.梯度下降公式的推导过程

J对w求导的过程。

J对b求导的过程。

4.误差平方成本函数

3.5课节展示的倒扣碗状,是线性回归的误差平方成本函数,也叫做凸函数,只有一个最小值。因此对这个函数执行梯度下降,只要学习率选择合适,梯度下降总是在全局最小值的时刻收敛。

5.多曲面

3.5课节展示的多曲面形状,是其它类型的成本函数,有多个局部最小值,因此梯度下降的收敛情况不同。

相关推荐
小雷FansUnion8 分钟前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周11 分钟前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享1 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜1 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿1 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_2 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver1232 小时前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪
学技术的大胜嗷2 小时前
离线迁移 Conda 环境到 Windows 服务器:用 conda-pack 摆脱硬路径限制
人工智能·深度学习·yolo·目标检测·机器学习
还有糕手2 小时前
西南交通大学【机器学习实验10】
人工智能·机器学习
江瀚视野2 小时前
百度文心大模型4.5系列正式开源,开源会给百度带来什么?
人工智能