吴恩达2022机器学习专项课程(一)7.3 逻辑回归的梯度下降 & 实验:逻辑回归的梯度下降(C1_W3_Lab06)

问题预览/关键词

逻辑回归的梯度下降算法公式

和多元线性回归一样,有几个特征,就要同时计算几个wj。

计算梯度下降的导数项

逻辑回归和线性回归的梯度下降算法区别

从梯度下降算法的形式上看,似乎没有区别。但是用于计算的f(x)函数不同,因此它们是不同的算法。

逻辑回归和线性回归在梯度下降算法的通用之处

检测梯度下降收敛

检测梯度下降收敛的方法一致,详见5.7(检测梯度下降是否收敛)。

向量化操作

都可以向量化操作,详见课后实验代码。

特征缩放

都可以使用特征缩放,加快逻辑回归的梯度下降。

实验

创建训练集并绘制散点图

计算梯度下降的导数项

  • 公式
  • 计算过程解析详见第二周课后实验的Lab02。
  • 调用函数,执行一次梯度下降。

运行梯度下降

  • 公式
  • 根据公式编写函数
  • 调用函数,计算出w,b。

根据w,b构建决策边界

决策边界能够很好的将训练集的数据分类,证明计算出的w,b很合适。

可视化理解成本函数和梯度下降迭代(单特征)

  • 点击右上方等高线图,可以修改w,b,然后点击右下角的橘色按钮运行梯度下降,观察四张图的变化。
  • w,b离等高线图越远,模型预测效果越差,因此左上方的逻辑回归模型对于每个训练集数据的损失越大。

总结

本节主要讲述了如何计算逻辑回归的梯度下降,并演示了如何用Python实现。逻辑回归和线性回归的梯度下降算法很相似,但因为它们的f(x)不同,因此也是不同的算法。

相关推荐
罗西的思考8 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考8 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康9 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy11 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
在所不辞兄17 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
硅谷秋水18 小时前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
小宋102120 小时前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
forest_091 天前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
落羽的落羽2 天前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习