吴恩达2022机器学习专项课程(一) 4.5 线性回归的梯度下降

问题预览/关键词

  1. 本节内容
  2. 梯度下降公式
  3. 梯度下降公式的推导过程
  4. 梯度下降在线性回归误差平方成本函数的收敛
  5. 梯度下降在多曲面的收敛

笔记

1.本节内容

给线性回归模型的误差平方成本函数执行梯度下降。

2.梯度下降公式

线性回归下误差成本函数的梯度下降公式。

3.梯度下降公式的推导过程

J对w求导的过程。

J对b求导的过程。

4.误差平方成本函数

3.5课节展示的倒扣碗状,是线性回归的误差平方成本函数,也叫做凸函数,只有一个最小值。因此对这个函数执行梯度下降,只要学习率选择合适,梯度下降总是在全局最小值的时刻收敛。

5.多曲面

3.5课节展示的多曲面形状,是其它类型的成本函数,有多个局部最小值,因此梯度下降的收敛情况不同。

相关推荐
声网6 分钟前
MiniMax 发布新 TTS 模型 Speech-02,轻松制作长篇有声内容;Meta 高端眼镜年底推出:售价上千美元丨日报
人工智能
HeteroCat10 分钟前
OpenAI 官方学院 -- 提示词课程要点
人工智能·chatgpt
每天做一点改变12 分钟前
AI Agent成为行业竞争新焦点:技术革新与商业重构的双重浪潮
人工智能·重构
大美B端工场-B端系统美颜师15 分钟前
定制化管理系统与通用管理系统,谁更胜一筹?
人工智能·信息可视化·数据挖掘·数据分析
生信小鹏16 分钟前
Nature旗下 | npj Digital Medicine | 图像+转录组+临床变量三合一,多模态AI预测化疗反应,值得复现学习的完整框架
人工智能·学习·免疫治疗·scrna-seq·scrna
OpenLoong 开源社区29 分钟前
技术视界 | 从哲学到技术:人形机器人感知导航的探索(下篇)
人工智能·机器人·开源社区·人形机器人·openloong
csssnxy42 分钟前
叁仟数智指路机器人的主要功能有哪些?
人工智能
蝎蟹居1 小时前
GB/T 4706.1-2024 家用和类似用途电器的安全 第1部分:通用要求 与2005版差异(1)
人工智能·单片机·嵌入式硬件·物联网·安全
浊酒南街1 小时前
TensorFlow实现逻辑回归
人工智能·tensorflow·逻辑回归
云卓SKYDROID1 小时前
无人机遥测系统工作与技术难点分析!
人工智能·无人机·科普·高科技·云卓科技