机器学习——正规方程

正规方程的基本介绍

之前我们使用梯度下降算法求代价函数J(θ)的最小值,而梯度下降算法是通过一步步不断地迭代来收敛到全局最小值,如下

而正规方程则是另一种求解J(θ)最小值的方法,并且正规方程不需要通过迭代,而是一次性得到θ的最优值

正规方程的基本概念如下(省略证明过程,记住这个公式就行)

正规方程和梯度下降的对比

  • 梯度下降算法需要不断尝试不同的学习率α,直到选择到一个合适的值,这是一个额外的工作;而正规方程不需要选择学习率;
  • 梯度下降算法是一个迭代算法,需要通过不断地迭代得到θ的最优值;正规方程不需要迭代,基本是一次性可以得到θ的最优值;
  • 梯度下降算法在特征变量很多的情况下,也能运行的很好,哪怕有几百万个特征向量,但是正规方程需要进行矩阵的运算,所以当特征变量很多的时候,正规方程的计算速度不一定比梯度下降的迭代要快;
  • 那么特征数量n多少算大呢?一般如果n超过一万,就考察使用梯度下降或其他算法,如果n在一万以内,可以使用正规方程;
  • 对于线性回归这个特定的模型,正规方程法是一个比梯度下降算法更快的替代算法,但是正规方程不一定适用于其他的学习算法,而梯度下降算法的使用范围比正规方程更广泛。所以还是要根据具体的算法,具体的问题以及特征量的数量来进行最终选择;
相关推荐
凌冰_1 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程
VIP_CQCRE2 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
Pniubi2 小时前
力扣2 . 两数相加
算法·leetcode·职场和发展
戴·菲瑜2 小时前
为什么PPO难以做出顶级棋类引擎
算法·博弈论·rl·ppo
泯泷3 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁013 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn4 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄4 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下5 小时前
langgraph 全栈项目(三)
前端·人工智能·后端