机器学习——正规方程

正规方程的基本介绍

之前我们使用梯度下降算法求代价函数J(θ)的最小值,而梯度下降算法是通过一步步不断地迭代来收敛到全局最小值,如下

而正规方程则是另一种求解J(θ)最小值的方法,并且正规方程不需要通过迭代,而是一次性得到θ的最优值

正规方程的基本概念如下(省略证明过程,记住这个公式就行)

正规方程和梯度下降的对比

  • 梯度下降算法需要不断尝试不同的学习率α,直到选择到一个合适的值,这是一个额外的工作;而正规方程不需要选择学习率;
  • 梯度下降算法是一个迭代算法,需要通过不断地迭代得到θ的最优值;正规方程不需要迭代,基本是一次性可以得到θ的最优值;
  • 梯度下降算法在特征变量很多的情况下,也能运行的很好,哪怕有几百万个特征向量,但是正规方程需要进行矩阵的运算,所以当特征变量很多的时候,正规方程的计算速度不一定比梯度下降的迭代要快;
  • 那么特征数量n多少算大呢?一般如果n超过一万,就考察使用梯度下降或其他算法,如果n在一万以内,可以使用正规方程;
  • 对于线性回归这个特定的模型,正规方程法是一个比梯度下降算法更快的替代算法,但是正规方程不一定适用于其他的学习算法,而梯度下降算法的使用范围比正规方程更广泛。所以还是要根据具体的算法,具体的问题以及特征量的数量来进行最终选择;
相关推荐
闪电麦坤9516 分钟前
数据结构:排序算法的评判标准(Criteria Used For Analysing Sorts)
数据结构·算法·排序算法
爱coding的橙子18 分钟前
每日算法刷题Day65:8.27:leetcode dfs11道题,用时2h30min
算法·leetcode·深度优先
GIS开发特训营26 分钟前
【智慧城市】2025年中国地质大学(武汉)暑期实训优秀作品(2):智慧城市西安与一带一路
人工智能·信息可视化·智慧城市
飞哥数智坊26 分钟前
扣子实战第19讲:Coze零代码打造“新生入学百事通”,辅导员都说好
人工智能·coze
不懂机器人26 分钟前
linux网络编程-----TCP服务端并发模型(epoll)
linux·网络·tcp/ip·算法
上海控安1 小时前
上海控安:GB 44495-2024《汽车整车信息安全技术要求》标准解读和测试方案
大数据·人工智能·汽车
地平线开发者1 小时前
理想汽车智驾方案介绍 3|MoE+Sparse Attention 高效结构解析
算法·自动驾驶
AI人工智能+2 小时前
竣工验收备案识别技术:通过AI和OCR实现智能化文档处理,提升效率与准确性,推动建筑行业数字化转型。
人工智能·nlp·ocr·竣工验收备案识别
音视频牛哥2 小时前
机器人视频感知架构深度解析:7条技术法则,打造低延迟实时感知与交互
人工智能·计算机视觉·机器人·音视频·大牛直播sdk·机器视觉·rtmp rtsp播放器
小O的算法实验室2 小时前
2025年KBS SCI1区TOP,矩阵差分进化算法+移动网络视觉覆盖无人机轨迹优化,深度解析+性能实测
算法·论文复现·智能算法改进