线性回归的似然函数推导

1. 模型假设:线性回归的概率形式

线性回归的标准模型假设: \(y^{(i)} = \theta^T x^{(i)} + \varepsilon^{(i)}\)

  • \(y^{(i)}\):第 i 个样本的真实标签
  • \(x^{(i)}\):第 i 个样本的特征向量
  • \(\theta\):待学习的模型参数向量
  • \(\varepsilon^{(i)}\):噪声项(误差),服从零均值高斯分布

2. 误差项的概率分布

我们假设噪声 \(\varepsilon^{(i)}\) 服从正态分布: \(p(\varepsilon^{(i)}) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(\varepsilon^{(i)})^2}{2\sigma^2}\right)\)

  • 均值为 0,方差为 \(\sigma^2\)
  • 含义:误差以 0 为中心,越靠近 0 概率越高,远离 0 概率指数衰减
  • 这是线性回归最经典的 "高斯噪声假设"

3. 条件概率:给定 \(x^{(i)}\) 下 \(y^{(i)}\) 的分布

将 \(\varepsilon^{(i)} = y^{(i)} - \theta^T x^{(i)}\) 代入上式,可得: \(p(y^{(i)} | x^{(i)}; \theta) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(y^{(i)} - \theta^T x^{(i)})^2}{2\sigma^2}\right)\)

  • 含义:在给定参数 \(\theta\) 和特征 \(x^{(i)}\) 的情况下,观测到标签 \(y^{(i)}\) 的概率
  • 形式上,这表示 \(y^{(i)}\) 也服从正态分布,均值为 \(\theta^T x^{(i)}\),方差为 \(\sigma^2\)

4. 似然函数 \(L(\theta)\)

假设样本独立同分布,那么所有样本的联合概率就是单个概率的乘积,这就是似然函数:

\(\begin{align} L(\theta) &= \prod_{i=1}^{m} p(y^{(i)} | x^{(i)}; \theta) \\ &= \prod_{i=1}^{m} \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(y^{(i)} - \theta^T x^{(i)})^2}{2\sigma^2}\right) \end{align}\)

  • \(L(\theta)\):关于参数 \(\theta\) 的函数,表示在参数 \(\theta\) 下,观测到当前数据集的 "可能性"
  • 我们的目标:找到一组参数 \(\theta\),让 \(L(\theta)\) 最大化(即最大似然估计)

补充:对数似然与最小二乘的等价性

为了简化连乘计算,通常取对数得到对数似然:

\(\ell(\theta) = \log L(\theta) = \sum_{i=1}^m \log\left(\frac{1}{\sqrt{2\pi}\sigma}\right) - \frac{1}{2\sigma^2} \sum_{i=1}^m (y^{(i)} - \theta^T x^{(i)})^2\)

  • 最大化 \(\ell(\theta)\),等价于最小化: \(J(\theta) = \sum_{i=1}^m (y^{(i)} - \theta^T x^{(i)})^2\)
  • 这就是我们熟悉的最小二乘损失函数 。因此: 在线性回归中,高斯噪声假设下的最大似然估计 ,与最小二乘估计完全等价。
相关推荐
塑料铲子14 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
TsingtaoAI16 小时前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
罗西的思考2 天前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
Asher11253 天前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习
龙腾AI白云3 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
汤姆宝库3 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
回眸&啤酒鸭3 天前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
AI小怪兽3 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
峯5803 天前
机器学习05,用 scikit-learn 做加州房价预测的完整入门工程
人工智能·机器学习·scikit-learn