机器学习-回归分析之一元线性回归

📘 机器学习-回归分析之一元线性回归

一、模型定义

当研究某一现象时，如果主要关注的是一个自变量（X）对一个因变量（Y）的影响 ，并且两者具有较强的线性相关关系，可采用一元线性回归模型（Simple Linear Regression Model）。

模型形式：Y=β0+β1X+ε

( Y )：因变量（被解释变量）
( X )：自变量（解释变量）
( β0 β1 )：模型参数（待估计）
( 𝜀)：随机误差项

二、模型的主要假设

线性关系假设：Y与X呈线性关系。
独立性假设：各样本之间相互独立。
同方差性假设：误差项方差相同。
正态性假设：误差项服从均值为0、方差为σ²的正态分布。

三、参数估计方法

1. 最小二乘法（Ordinary Least Squares, OLS）

目标：通过样本数据，估计出最能代表总体规律的参数 β₀ 和 β₁。

思想：通过观测样本数据，寻找能最小化"预测值与实际值之间偏差平方和"的参数 𝛽0,𝛽1
最小化问题求解过程：为了得到最佳参数，使得误差平方和最小化，
对 𝛽0,𝛽1β0,β1分别求偏导，并令导数为0，求导 → 联立方程 → 解得：

补充偏导数知识：

1）外层平方 → 用到导数公式 (g(x))^2' = 2g(x)g'(x)

2）对 β₀ 求导时，β₁、Xᵢ、Yᵢ 都是常数

解这两个方程可得：

2、最大似然估计

最大似然估计（Maximum Likelihood Estimation, MLE）

是一种利用样本数据来估计总体分布参数的方法。

它基于"已知样本服从某种分布，但未知参数"的前提，通过选择使样本出现的概率最大化的参数值，作为参数估计结果。

基本思想与直观理解

1️⃣ 假设样本来自某个分布族，例如：

其中 θ是未知参数。

2️⃣ 构建"似然函数"：

3️⃣ 取对数简化运算（对数似然函数）：

4️⃣ 对参数 (θ ) 求导并令导数为0（寻找极值点）：

求得的

就是最大似然估计值。

举例：二项分布下的最大似然估计

假设掷硬币实验中，每次投掷成功（正面朝上）的概率为 ( p )，

观测到的成功次数 ( k ) 服从二项分布：

对应的似然函数为：

取对数求导：

求偏导并令为0：

最终得到：

即样本中"成功次数比例"就是最大似然估计值。✅

MLE 在回归模型中的意义
在线性回归中，如果假设误差项服从正态分布，

则最小二乘法（OLS）与最大似然估计（MLE）在数学上是等价的。
在逻辑回归中，因变量服从二项分布 ，因此不能使用最小二乘法，而是必须使用最大似然估计法。

四、模型检验

1、参数估计：最小二乘估计（LSE）

已知两组数据 𝑥 和 𝑦，使用一元线性回归模型拟合两者之间的关系：

使用最小二乘法（LSE）估计回归方程的系数，得到最终回归方程。

已知：

计算得到：

最终回归方程：

2、回归系数是否显著：t 检验

1️⃣ 检验目的

判断因变量 ( y ) 与自变量 ( x ) 是否存在线性关系，即：

2️⃣ 检验水平

α=0.05或0.01

3️⃣ 构造统计量

若 (H0) 成立：

t 统计量定义为：

4️⃣ 判定规则

查 t 分布表，自由度 n - 2 = 13
双尾检验，显著性水平 α = 0.05
临界值：

5️⃣ 结论

若 ( |t| > 2.16 )，拒绝 (H0)，认为 x对 y有显著线性影响。

本次结果：拒绝原假设 (H0: β1= 0)，接受 (H1: β1!=0)。

3、回归方程是否显著：F 检验

1️⃣ 检验目的

判断整个回归方程是否显著，即模型是否有统计意义。

根据平方和分解式：

SST = SSR + SSE

(SST)：总离差平方和（因变量的波动程度）
(SSR)：回归平方和（由自变量 (x) 引起的波动）
(SSE)：残差平方和（由其他因素引起的波动）

2️⃣ F统计量公式

3️⃣ 数据与计算结果

方差来源	自由度	平方和(SS)	均方(MS)
回归	1（即 (k-1)）	SSR = 841.65	841.65
残差	13（即 (T-k)）	SSE = 69.75	5.365
总和	14（即 (T-1)）	SST = 911.51	---

计算统计量：

自由度 ((1, 13))，对应：

4️⃣ 检验结论

4、总结

检验方法	目的	结论
t 检验	单个回归系数显著性	β₁ 显著 ≠ 0
F 检验	整体方程显著性	回归方程显著有效