吴恩达《机器学习》4-6->4-7:正规方程

一、正规方程基本思想

  • 正规方程是一种通过数学推导来求解线性回归参数的方法,它通过最小化代价函数来找到最优参数。

  • 代价函数 J(θ) 用于度量模型预测值与实际值之间的误差,通常采用均方误差。

二、步骤

  • 准备数据集,包括特征矩阵 X 和目标向量 y。特征矩阵通常包括一个全为1的常数列(截距项)。

  • 定义代价函数 J(θ),通常采用均方误差。

  • 推导代价函数 J(θ) 对参数θ的梯度,令梯度为零。

  • 将梯度为零的方程组转化为矩阵形式:X^T * X * θ = X^T * y。

  • 求解正规方程,得到最优参数θ:θ = (X^T * X)^(-1) * X^T * y。

三、正规方程的优点

  • 不需要选择学习率α,一次运算得出最优参数,无需迭代。

  • 在特征数量较小的情况下非常适用(通常 n < 10000)。

四、正规方程的限制和适用情况

  • 不适用于非线性模型,仅适用于线性回归。

  • 如果特征之间存在线性相关性,或者特征数量多于样本数量,正规方程可能不适用。

  • 对于特征数量大的情况,计算 (X^T * X)^(-1) 的逆矩阵可能会昂贵。

五、选择算法

  • 根据问题的特点、数据集的大小和特征的独立性来选择使用梯度下降法或正规方程。

  • 对于小型数据集和特征数量不多的情况,正规方程是一个有效的选择。

六、正规方程在矩阵不可逆时的解决办法

  • 使用伪逆函数 pinv():

    • 在Octave等数值计算工具中,可以使用伪逆函数 pinv() 来计算参数θ,即使特征矩阵X^T * X是不可逆的。这是一种弥补不可逆性的方法,它可以提供正确的解。
  • 处理线性相关的特征:

    • 当存在线性相关的特征时,如 x1 = (3.28)^2 * x2,矩阵X^T * X可能变得奇异或不可逆。此时,可以考虑去除一个或多个相关特征以减少特征数量,同时保持数据的信息内容。这将使X^T * X更容易求逆。
  • 特征选择和正则化:

    • 如果特征数量n太多,而训练样本数量m相对较少,可能会导致X^T * X不可逆。在这种情况下,可以考虑以下方法:

      • 删除一些不相关或冗余的特征,以降低特征数量。

      • 使用正则化方法,如Lasso或Ridge回归,来惩罚不必要的特征权重,从而解决不可逆性问题。

参考资料:

中英字幕吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
linweidong8 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
qingwufeiyang_5308 小时前
Docker学习笔记2
笔记·学习
咕泡科技8 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
龙腾AI白云9 小时前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
电科_银尘9 小时前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
Z21-X9 小时前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
Century_Dragon9 小时前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
星恒随风9 小时前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql
希和202721 小时前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记·单片机·mongodb
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习