机器学习(9)---线性回归中的公式推导(手推)、闭式解和数值解

文章目录


一、闭式解(解析解)

1. 在机器学习中,闭式解也被称为解析解(analytical solution),是指可以通过严格的数学公式或方程直接求解出模型参数的解析解。

2. 闭式解通常用于线性回归等一些简单的模型中,其中模型参数的求解可以通过最小二乘法等数学方法直接得到。对于这些模型,闭式解能够提供最佳的解决方案,因为它们能够给出全局最优解。

二、数值解

1. 数值解(numerical solution),是指通过数值计算方法来近似求解模型参数或优化问题的解。

2. 常见的数值解算法包括梯度下降、牛顿法、共轭梯度法、有限元方法、插值方法、数值逼近等。这些算法通过迭代地更新模型参数,使得损失函数或优化目标逐渐减小,直到达到收敛的条件。

总结:(1)数值解是在特定条件下通过近似计算得出来的一个数值;而解析解为该函数的解析式。 (2)解析解就是给出解的具体函数形式,从解的表达式中就可以算出任何对应值;数值解就是用数值方法求出解,给出一系列对应的自变量和解。

三、一元线性回归中w和b的推导

注:根据代价函数,利用最小二乘法来求:

四、多元线性回归中w的推导

相关推荐
skywalk81633 分钟前
体验智谱清言的AutoGLM进行自动化的操作(Chrome插件)
运维·人工智能·自动化·glm·autoglm
Chaos_Wang_24 分钟前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
databook28 分钟前
线性判别分析(LDA):降维与分类的完美结合
python·机器学习·scikit-learn
新智元30 分钟前
美国 CS 专业卷上天,满分学霸惨遭藤校全拒!父亲大受震撼引爆热议
人工智能·openai
新智元32 分钟前
美国奥数题撕碎 AI 数学神话,顶级模型现场翻车!最高得分 5%,DeepSeek 唯一逆袭
人工智能·openai
Baihai_IDP42 分钟前
「DeepSeek-V3 技术解析」:无辅助损失函数的负载均衡
人工智能·llm·deepseek
硅谷秋水1 小时前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
TGITCIC1 小时前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
Lx3521 小时前
AutoML逆袭:普通开发者如何玩转大模型调参
人工智能
IT古董1 小时前
【漫话机器学习系列】185.神经网络参数的标准初始化(Normalized Initialization of Neural Network Parameter
人工智能