《机器学习》从入门到实战——线性回归

目录

一、什么是线性回归

二、一元线性回归模型

三、多元线性回归模型

四、误差项分析

1、误差项是否可以忽略

2、误差项的特点

3、误差项满足高斯分布(正太分布)

(1)、高斯分布公式

(2)、公式推导

五、极大似然估计

1、什么是极大似然估计

2、似然函数求解

六、模型评估

1、相关系数

2、拟合优度


一、什么是线性回归

线性回归是利用数理统计中回归分析,来确定两种或多种以上变量间相互依赖的定量关系的一种统计分析方法 。

相关关系:包含因果关系和平行关系

因果关系:回归分析【原因引起结果,需要明确自变量和因变量】

平行关系:相关分析【无因果分析,不区分自变量和因变量】

举例:

|---------|-----------|
| 工资(自变量) | 贷款额度(因变量) |
| 4000 | 10000 |
| 8000 | 12000 |
| 5000 | 8000 |
| 6000 | 15000 |
| 7000 | ? |

工资对贷款额度有多大影响?如何公平的评定工资的影响?

二、一元线性回归模型

一元线性回归模型:

误差项:除线性因素外的随机因素所产生的误差

三、多元线性回归模型

多元线性回归模型:

四、误差项分析

1、误差项是否可以忽略

差项不可省略,误差是必然产生的。并且由于产生了误差项,我们便可以基于误差的特点来进行对线性回归的参数估计的。在大多数实际应用中,误差项不可忽略,因为它包含了模型未能解释的随机因素和潜在偏差。

2、误差项的特点

独立同分布

一组随机变量 X1,X2,...,XnX1​,X2​,...,Xn​ 是独立同分布的,如果它们既相互独立,又具有相同的概率分布。

  • 独立:每个样本点都是独立的
  • 同分布:一组随机变量 X1,X2,...,XnX1,X2,...,Xn 是同分布的,如果它们具有相同的概率分布。也就是所有变量的取值规律完全相同。

3、误差项满足高斯分布(正太分布)

(1)、高斯分布公式

因为误差项满足高斯分布,所以对参数问题的估计就转化成了对误差项的分析。

(2)、公式推导

线性回归公式

转化为矩阵计算

带入高斯分布公式

五、极大似然估计

1、什么是极大似然估计

极大似然估计是一种统计方法,用于估计模型参数。其核心思想是:在给定观测数据的情况下,找到最有可能生成这些数据的参数值。

  • 假设我们有一个概率模型,其参数为 θθ。

  • 给定一组观测数据 X=(x1,x2,...,xn)X=(x1​,x2​,...,xn​),我们希望找到参数 θθ 的值,使得这组数据在该模型下出现的概率最大。

  • 换句话说,极大似然估计寻找的是"最合理"的参数值,使得观测数据看起来最"自然"。

2、似然函数求解

取对数

目标函数

使用最小二乘法求解

六、模型评估

评估数据以及模型的好坏

1、相关系数

又称皮尔逊相关系数,是研究变量之间相关 关系的度量,一般用字母r表示。

2、拟合优度

即判定系数R方

SSR:回归平方和

SST:离差平方和

1.反映了回归直线的拟合程度。

2.取值范围在[0,1]之间。

3.R方越接近1,说明拟合效果 越好;R方越接近0,说明拟 合效果越差。

4.R方的平方根是相关系数。

相关推荐
赵钰老师20 分钟前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
AIGC-Lison21 分钟前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·ai·stable diffusion·aigc·sd
AI绘画咪酱21 分钟前
Stable Diffusion|Ai赋能电商 Inpaint Anything
人工智能·ai·ai作画·stable diffusion·sd·ai教程·sd教程
ruokkk22 分钟前
Spring AI MCP 客户端实战:轻松连接高德地图等工具
人工智能
_一条咸鱼_23 分钟前
AI Agent 工作原理深入剖析
人工智能
飞哥数智坊25 分钟前
AI编程实战:数据大屏生成初探
人工智能
蚝油菜花26 分钟前
Cua:Mac用户狂喜!这个开源框架让AI直接接管你的电脑,快速实现AI自动化办公
人工智能·开源
蚝油菜花27 分钟前
AutoAgent:无需编程!接入DeepSeek用自然语言创建和部署AI智能体!港大开源框架让AI智能体开发变成填空题
人工智能·开源
nuise_28 分钟前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
声网42 分钟前
MiniMax 发布新 TTS 模型 Speech-02,轻松制作长篇有声内容;Meta 高端眼镜年底推出:售价上千美元丨日报
人工智能