机器学习(9)---线性回归中的公式推导(手推)、闭式解和数值解

文章目录


一、闭式解(解析解)

1. 在机器学习中,闭式解也被称为解析解(analytical solution),是指可以通过严格的数学公式或方程直接求解出模型参数的解析解。

2. 闭式解通常用于线性回归等一些简单的模型中,其中模型参数的求解可以通过最小二乘法等数学方法直接得到。对于这些模型,闭式解能够提供最佳的解决方案,因为它们能够给出全局最优解。

二、数值解

1. 数值解(numerical solution),是指通过数值计算方法来近似求解模型参数或优化问题的解。

2. 常见的数值解算法包括梯度下降、牛顿法、共轭梯度法、有限元方法、插值方法、数值逼近等。这些算法通过迭代地更新模型参数,使得损失函数或优化目标逐渐减小,直到达到收敛的条件。

总结:(1)数值解是在特定条件下通过近似计算得出来的一个数值;而解析解为该函数的解析式。 (2)解析解就是给出解的具体函数形式,从解的表达式中就可以算出任何对应值;数值解就是用数值方法求出解,给出一系列对应的自变量和解。

三、一元线性回归中w和b的推导

注:根据代价函数,利用最小二乘法来求:

四、多元线性回归中w的推导

相关推荐
暴龙胡乱写博客2 分钟前
OpenCV---图像预处理(四)
人工智能·opencv·计算机视觉
程序员辣条10 分钟前
深度测评 RAG 应用评估框架:指标最全面的 RAGas
人工智能·程序员
无心水11 分钟前
【Java面试笔记:基础】8.对比Vector、ArrayList、LinkedList有何区别?
java·笔记·面试·vector·arraylist·linkedlist
curdcv_po11 分钟前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae
程序员辣条12 分钟前
为什么需要提示词工程?什么是提示词工程(prompt engineering)?为什么需要提示词工程?收藏我这一篇就够了!
人工智能·程序员·产品经理
孔令飞16 分钟前
Go:终于有了处理未定义字段的实用方案
人工智能·云原生·go
卡皮巴拉爱吃小蛋糕18 分钟前
MySQL的MVCC【学习笔记】
数据库·笔记·mysql
清流君29 分钟前
【MySQL】数据库 Navicat 可视化工具与 MySQL 命令行基本操作
数据库·人工智能·笔记·mysql·ue5·数字孪生
Blossom.11836 分钟前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
biter008838 分钟前
ubuntu(28):ubuntu系统多版本conda和多版本cuda共存
linux·人工智能·ubuntu·conda