机器学习(9)---线性回归中的公式推导(手推)、闭式解和数值解

文章目录


一、闭式解(解析解)

1. 在机器学习中,闭式解也被称为解析解(analytical solution),是指可以通过严格的数学公式或方程直接求解出模型参数的解析解。

2. 闭式解通常用于线性回归等一些简单的模型中,其中模型参数的求解可以通过最小二乘法等数学方法直接得到。对于这些模型,闭式解能够提供最佳的解决方案,因为它们能够给出全局最优解。

二、数值解

1. 数值解(numerical solution),是指通过数值计算方法来近似求解模型参数或优化问题的解。

2. 常见的数值解算法包括梯度下降、牛顿法、共轭梯度法、有限元方法、插值方法、数值逼近等。这些算法通过迭代地更新模型参数,使得损失函数或优化目标逐渐减小,直到达到收敛的条件。

总结:(1)数值解是在特定条件下通过近似计算得出来的一个数值;而解析解为该函数的解析式。 (2)解析解就是给出解的具体函数形式,从解的表达式中就可以算出任何对应值;数值解就是用数值方法求出解,给出一系列对应的自变量和解。

三、一元线性回归中w和b的推导

注:根据代价函数,利用最小二乘法来求:

四、多元线性回归中w的推导

相关推荐
3DVisionary几秒前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星2 分钟前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星3 分钟前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
呵呵哒( ̄▽ ̄)"3 分钟前
线性代数:同解(1)
python·线性代数·机器学习
RedMery3 分钟前
论文阅读笔记:Denoising Diffusion Implicit Models (4)
论文阅读·笔记
SweetCode8 分钟前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
程序员Linc21 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh29 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能32 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
go_bai33 分钟前
Linux环境基础开发工具——(2)vim
linux·开发语言·经验分享·笔记·vim·学习方法