吴恩达《机器学习》4-6->4-7:正规方程

一、正规方程基本思想

  • 正规方程是一种通过数学推导来求解线性回归参数的方法,它通过最小化代价函数来找到最优参数。

  • 代价函数 J(θ) 用于度量模型预测值与实际值之间的误差,通常采用均方误差。

二、步骤

  • 准备数据集,包括特征矩阵 X 和目标向量 y。特征矩阵通常包括一个全为1的常数列(截距项)。

  • 定义代价函数 J(θ),通常采用均方误差。

  • 推导代价函数 J(θ) 对参数θ的梯度,令梯度为零。

  • 将梯度为零的方程组转化为矩阵形式:X^T * X * θ = X^T * y。

  • 求解正规方程,得到最优参数θ:θ = (X^T * X)^(-1) * X^T * y。

三、正规方程的优点

  • 不需要选择学习率α,一次运算得出最优参数,无需迭代。

  • 在特征数量较小的情况下非常适用(通常 n < 10000)。

四、正规方程的限制和适用情况

  • 不适用于非线性模型,仅适用于线性回归。

  • 如果特征之间存在线性相关性,或者特征数量多于样本数量,正规方程可能不适用。

  • 对于特征数量大的情况,计算 (X^T * X)^(-1) 的逆矩阵可能会昂贵。

五、选择算法

  • 根据问题的特点、数据集的大小和特征的独立性来选择使用梯度下降法或正规方程。

  • 对于小型数据集和特征数量不多的情况,正规方程是一个有效的选择。

六、正规方程在矩阵不可逆时的解决办法

  • 使用伪逆函数 pinv()

    • 在Octave等数值计算工具中,可以使用伪逆函数 pinv() 来计算参数θ,即使特征矩阵X^T * X是不可逆的。这是一种弥补不可逆性的方法,它可以提供正确的解。
  • 处理线性相关的特征:

    • 当存在线性相关的特征时,如 x1 = (3.28)^2 * x2,矩阵X^T * X可能变得奇异或不可逆。此时,可以考虑去除一个或多个相关特征以减少特征数量,同时保持数据的信息内容。这将使X^T * X更容易求逆。
  • 特征选择和正则化:

    • 如果特征数量n太多,而训练样本数量m相对较少,可能会导致X^T * X不可逆。在这种情况下,可以考虑以下方法:

      • 删除一些不相关或冗余的特征,以降低特征数量。

      • 使用正则化方法,如Lasso或Ridge回归,来惩罚不必要的特征权重,从而解决不可逆性问题。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
使一颗心免于哀伤7 小时前
《设计模式之禅》笔记摘录 - 21.状态模式
笔记·设计模式
AI小云2 天前
【机器学习与实战】回归分析与预测:线性回归-03-损失函数与梯度下降
机器学习
_落纸2 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
Alice-YUE2 天前
【CSS学习笔记3】css特性
前端·css·笔记·html
2303_Alpha2 天前
SpringBoot
笔记·学习
萘柰奈2 天前
Unity学习----【进阶】TextMeshPro学习(三)--进阶知识点(TMP基础设置,材质球相关,两个辅助工具类)
学习·unity
沐矢羽2 天前
Tomcat PUT方法任意写文件漏洞学习
学习·tomcat
好奇龙猫2 天前
日语学习-日语知识点小记-进阶-JLPT-N1阶段蓝宝书,共120语法(10):91-100语法+考え方13
学习
向阳花开_miemie2 天前
Android音频学习(十八)——混音流程
学习·音视频
工大一只猿2 天前
51单片机学习
嵌入式硬件·学习·51单片机