《机器学习》从入门到实战——线性回归

目录

一、什么是线性回归

二、一元线性回归模型

三、多元线性回归模型

四、误差项分析

1、误差项是否可以忽略

2、误差项的特点

3、误差项满足高斯分布(正太分布)

(1)、高斯分布公式

(2)、公式推导

五、极大似然估计

1、什么是极大似然估计

2、似然函数求解

六、模型评估

1、相关系数

2、拟合优度


一、什么是线性回归

线性回归是利用数理统计中回归分析,来确定两种或多种以上变量间相互依赖的定量关系的一种统计分析方法 。

相关关系:包含因果关系和平行关系

因果关系:回归分析【原因引起结果,需要明确自变量和因变量】

平行关系:相关分析【无因果分析,不区分自变量和因变量】

举例:

|---------|-----------|
| 工资(自变量) | 贷款额度(因变量) |
| 4000 | 10000 |
| 8000 | 12000 |
| 5000 | 8000 |
| 6000 | 15000 |
| 7000 | ? |

工资对贷款额度有多大影响?如何公平的评定工资的影响?

二、一元线性回归模型

一元线性回归模型:

误差项:除线性因素外的随机因素所产生的误差

三、多元线性回归模型

多元线性回归模型:

四、误差项分析

1、误差项是否可以忽略

差项不可省略,误差是必然产生的。并且由于产生了误差项,我们便可以基于误差的特点来进行对线性回归的参数估计的。在大多数实际应用中,误差项不可忽略,因为它包含了模型未能解释的随机因素和潜在偏差。

2、误差项的特点

独立同分布

一组随机变量 X1,X2,...,XnX1​,X2​,...,Xn​ 是独立同分布的,如果它们既相互独立,又具有相同的概率分布。

  • 独立:每个样本点都是独立的
  • 同分布:一组随机变量 X1,X2,...,XnX1,X2,...,Xn 是同分布的,如果它们具有相同的概率分布。也就是所有变量的取值规律完全相同。

3、误差项满足高斯分布(正太分布)

(1)、高斯分布公式

因为误差项满足高斯分布,所以对参数问题的估计就转化成了对误差项的分析。

(2)、公式推导

线性回归公式

转化为矩阵计算

带入高斯分布公式

五、极大似然估计

1、什么是极大似然估计

极大似然估计是一种统计方法,用于估计模型参数。其核心思想是:在给定观测数据的情况下,找到最有可能生成这些数据的参数值。

  • 假设我们有一个概率模型,其参数为 θθ。

  • 给定一组观测数据 X=(x1,x2,...,xn)X=(x1​,x2​,...,xn​),我们希望找到参数 θθ 的值,使得这组数据在该模型下出现的概率最大。

  • 换句话说,极大似然估计寻找的是"最合理"的参数值,使得观测数据看起来最"自然"。

2、似然函数求解

取对数

目标函数

使用最小二乘法求解

六、模型评估

评估数据以及模型的好坏

1、相关系数

又称皮尔逊相关系数,是研究变量之间相关 关系的度量,一般用字母r表示。

2、拟合优度

即判定系数R方

SSR:回归平方和

SST:离差平方和

1.反映了回归直线的拟合程度。

2.取值范围在[0,1]之间。

3.R方越接近1,说明拟合效果 越好;R方越接近0,说明拟 合效果越差。

4.R方的平方根是相关系数。

相关推荐
IT_Octopus12 分钟前
AI工程pytorch小白TorchServe部署模型服务
人工智能·pytorch·python
果冻人工智能16 分钟前
AI军备竞赛:我们是不是正在造一个无法控制的神?
人工智能
暴龙胡乱写博客22 分钟前
OpenCV---图像预处理(四)
人工智能·opencv·计算机视觉
程序员辣条29 分钟前
深度测评 RAG 应用评估框架:指标最全面的 RAGas
人工智能·程序员
curdcv_po30 分钟前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae
程序员辣条31 分钟前
为什么需要提示词工程?什么是提示词工程(prompt engineering)?为什么需要提示词工程?收藏我这一篇就够了!
人工智能·程序员·产品经理
孔令飞35 分钟前
Go:终于有了处理未定义字段的实用方案
人工智能·云原生·go
清流君1 小时前
【MySQL】数据库 Navicat 可视化工具与 MySQL 命令行基本操作
数据库·人工智能·笔记·mysql·ue5·数字孪生
Blossom.1181 小时前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
biter00881 小时前
ubuntu(28):ubuntu系统多版本conda和多版本cuda共存
linux·人工智能·ubuntu·conda