机器学习——正规方程

正规方程的基本介绍

之前我们使用梯度下降算法求代价函数J(θ)的最小值,而梯度下降算法是通过一步步不断地迭代来收敛到全局最小值,如下

而正规方程则是另一种求解J(θ)最小值的方法,并且正规方程不需要通过迭代,而是一次性得到θ的最优值

正规方程的基本概念如下(省略证明过程,记住这个公式就行)

正规方程和梯度下降的对比

  • 梯度下降算法需要不断尝试不同的学习率α,直到选择到一个合适的值,这是一个额外的工作;而正规方程不需要选择学习率;
  • 梯度下降算法是一个迭代算法,需要通过不断地迭代得到θ的最优值;正规方程不需要迭代,基本是一次性可以得到θ的最优值;
  • 梯度下降算法在特征变量很多的情况下,也能运行的很好,哪怕有几百万个特征向量,但是正规方程需要进行矩阵的运算,所以当特征变量很多的时候,正规方程的计算速度不一定比梯度下降的迭代要快;
  • 那么特征数量n多少算大呢?一般如果n超过一万,就考察使用梯度下降或其他算法,如果n在一万以内,可以使用正规方程;
  • 对于线性回归这个特定的模型,正规方程法是一个比梯度下降算法更快的替代算法,但是正规方程不一定适用于其他的学习算法,而梯度下降算法的使用范围比正规方程更广泛。所以还是要根据具体的算法,具体的问题以及特征量的数量来进行最终选择;
相关推荐
掘金安东尼4 分钟前
用 Python 搭桥,Slack 上跑起来的 MCP 数字员工
人工智能·面试·github
skywalk81638 分钟前
体验智谱清言的AutoGLM进行自动化的操作(Chrome插件)
运维·人工智能·自动化·glm·autoglm
Chaos_Wang_30 分钟前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
databook33 分钟前
线性判别分析(LDA):降维与分类的完美结合
python·机器学习·scikit-learn
新智元35 分钟前
美国 CS 专业卷上天,满分学霸惨遭藤校全拒!父亲大受震撼引爆热议
人工智能·openai
新智元37 分钟前
美国奥数题撕碎 AI 数学神话,顶级模型现场翻车!最高得分 5%,DeepSeek 唯一逆袭
人工智能·openai
Baihai_IDP1 小时前
「DeepSeek-V3 技术解析」:无辅助损失函数的负载均衡
人工智能·llm·deepseek
硅谷秋水1 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
TGITCIC1 小时前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
Lx3521 小时前
AutoML逆袭:普通开发者如何玩转大模型调参
人工智能