机器学习——正规方程

正规方程的基本介绍

之前我们使用梯度下降算法求代价函数J(θ)的最小值,而梯度下降算法是通过一步步不断地迭代来收敛到全局最小值,如下

而正规方程则是另一种求解J(θ)最小值的方法,并且正规方程不需要通过迭代,而是一次性得到θ的最优值

正规方程的基本概念如下(省略证明过程,记住这个公式就行)

正规方程和梯度下降的对比

  • 梯度下降算法需要不断尝试不同的学习率α,直到选择到一个合适的值,这是一个额外的工作;而正规方程不需要选择学习率;
  • 梯度下降算法是一个迭代算法,需要通过不断地迭代得到θ的最优值;正规方程不需要迭代,基本是一次性可以得到θ的最优值;
  • 梯度下降算法在特征变量很多的情况下,也能运行的很好,哪怕有几百万个特征向量,但是正规方程需要进行矩阵的运算,所以当特征变量很多的时候,正规方程的计算速度不一定比梯度下降的迭代要快;
  • 那么特征数量n多少算大呢?一般如果n超过一万,就考察使用梯度下降或其他算法,如果n在一万以内,可以使用正规方程;
  • 对于线性回归这个特定的模型,正规方程法是一个比梯度下降算法更快的替代算法,但是正规方程不一定适用于其他的学习算法,而梯度下降算法的使用范围比正规方程更广泛。所以还是要根据具体的算法,具体的问题以及特征量的数量来进行最终选择;
相关推荐
羑悻的小杀马特1 小时前
OpenCV 引擎:驱动实时应用开发的科技狂飙
人工智能·科技·opencv·计算机视觉
想跑步的小弱鸡4 小时前
Leetcode hot 100(day 3)
算法·leetcode·职场和发展
guanshiyishi4 小时前
ABeam 德硕 | 中国汽车市场(2)——新能源车的崛起与中国汽车市场机遇与挑战
人工智能
极客天成ScaleFlash5 小时前
极客天成NVFile:无缓存直击存储性能天花板,重新定义AI时代并行存储新范式
人工智能·缓存
Uzuki5 小时前
AI可解释性 II | Saliency Maps-based 归因方法(Attribution)论文导读(持续更新)
深度学习·机器学习·可解释性
澳鹏Appen6 小时前
AI安全:构建负责任且可靠的系统
人工智能·安全
xyliiiiiL6 小时前
ZGC初步了解
java·jvm·算法
爱的叹息6 小时前
RedisTemplate 的 6 个可配置序列化器属性对比
算法·哈希算法
蹦蹦跳跳真可爱5896 小时前
Python----机器学习(KNN:使用数学方法实现KNN)
人工智能·python·机器学习
视界宝藏库7 小时前
多元 AI 配音软件,打造独特音频体验
人工智能