吴恩达《机器学习》4-6->4-7:正规方程

一、正规方程基本思想

  • 正规方程是一种通过数学推导来求解线性回归参数的方法,它通过最小化代价函数来找到最优参数。

  • 代价函数 J(θ) 用于度量模型预测值与实际值之间的误差,通常采用均方误差。

二、步骤

  • 准备数据集,包括特征矩阵 X 和目标向量 y。特征矩阵通常包括一个全为1的常数列(截距项)。

  • 定义代价函数 J(θ),通常采用均方误差。

  • 推导代价函数 J(θ) 对参数θ的梯度,令梯度为零。

  • 将梯度为零的方程组转化为矩阵形式:X^T * X * θ = X^T * y。

  • 求解正规方程,得到最优参数θ:θ = (X^T * X)^(-1) * X^T * y。

三、正规方程的优点

  • 不需要选择学习率α,一次运算得出最优参数,无需迭代。

  • 在特征数量较小的情况下非常适用(通常 n < 10000)。

四、正规方程的限制和适用情况

  • 不适用于非线性模型,仅适用于线性回归。

  • 如果特征之间存在线性相关性,或者特征数量多于样本数量,正规方程可能不适用。

  • 对于特征数量大的情况,计算 (X^T * X)^(-1) 的逆矩阵可能会昂贵。

五、选择算法

  • 根据问题的特点、数据集的大小和特征的独立性来选择使用梯度下降法或正规方程。

  • 对于小型数据集和特征数量不多的情况,正规方程是一个有效的选择。

六、正规方程在矩阵不可逆时的解决办法

  • 使用伪逆函数 pinv()

    • 在Octave等数值计算工具中,可以使用伪逆函数 pinv() 来计算参数θ,即使特征矩阵X^T * X是不可逆的。这是一种弥补不可逆性的方法,它可以提供正确的解。
  • 处理线性相关的特征:

    • 当存在线性相关的特征时,如 x1 = (3.28)^2 * x2,矩阵X^T * X可能变得奇异或不可逆。此时,可以考虑去除一个或多个相关特征以减少特征数量,同时保持数据的信息内容。这将使X^T * X更容易求逆。
  • 特征选择和正则化:

    • 如果特征数量n太多,而训练样本数量m相对较少,可能会导致X^T * X不可逆。在这种情况下,可以考虑以下方法:

      • 删除一些不相关或冗余的特征,以降低特征数量。

      • 使用正则化方法,如Lasso或Ridge回归,来惩罚不必要的特征权重,从而解决不可逆性问题。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

相关推荐
天水幼麟26 分钟前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
绿皮的猪猪侠43 分钟前
算法笔记上机训练实战指南刷题
笔记·算法·pta·上机·浙大
沧海一笑-dj1 小时前
【51单片机】51单片机学习笔记-课程简介
笔记·学习·51单片机·江科大·江科大学习笔记·江科大单片机·江科大51单片机
老虎06271 小时前
JavaWeb(苍穹外卖)--学习笔记04(前端:HTML,CSS,JavaScript)
前端·javascript·css·笔记·学习·html
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手2 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
大苏打seven2 小时前
Docker学习笔记:Docker网络
笔记·学习·docker
我就是全世界2 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield2 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
Green1Leaves4 小时前
pytorch学习-9.多分类问题
人工智能·pytorch·学习