前言
今天我们来讨论一下回归算法当中的数学实现。本人数学也是渣，大学时期概率论一直挂到清考才勉强通过，+_+ !!，如今勇闯机器学习，硬着头皮重新学习了微积分和线代，也是为了记录自己最近的状态，避免过段时间忘记了。描述的时候有不周全的地方，请各位大佬们多担待了
本节将会运用一些数学知识来解释一下相关的回归算法的合理性，虽有些枯燥，但知其然也知其所以然，多了解一些总是好的
最小二乘法
最小二乘法的核心思想是找到一组参数，使得模型预测值与实际观测值之间的误差平方和最小。最小二乘法是回归模型中非常常用的计算回归系数的方法：
\[\text{f} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \]
其中\(y_i\)是真实值，\(\hat{y}_i\)是预测值
推导过程
先用最简单的一元线性回归，一元线性回归的数学模型为：
\[\hat{y_i}=β_0+β_1x_i \]
带入公式：
\[\text{f} = \sum_{i=1}^{n} (y_i - (β_0+β_1x_i))^2 = \sum_{i=1}^{n} (y_i - β_0 - β_1x_i)^2 \]
由于要讨论的是\(β_0\)和\(β_1\)，这是一个多变量函数，为了研究单独变量，可以分别对其求偏导
\[\frac{\partial f}{\partial β_0} = (\sum_{i=1}^{n} (y_i - β_0 - β_1x_i)^2)' \]
首先，有限个数的求和之后的导数=有限个数导数之后求和，把\((y_i - β_0 - β_1x_i)^2\)看成一个整体
\[\frac{\partial f}{\partial β_0} = \sum_{i=1}^{n} ((y_i - β_0 - β_1x_i)^2)' \]
这是复合函数求导，那就来个剥洋葱法则，先对平方求导，再对加法求导
\[\frac{\partial f}{\partial β_0} = \sum_{i=1}^{n} 2(y_i - β_0 - β_1x_i)⋅(y_i - β_0 - β_1x_i)' \]
由于是对\(β_0\)求导，其余可认为是常数，求导为0
\[\frac{\partial f}{\partial β_0} = \sum_{i=1}^{n} 2(y_i - β_0 - β_1x_i) ⋅ -1 =-2\sum_{i=1}^{n} β_0(y_i - β_0 - β_1x_i) \]
导数是函数切线的斜率，要找到函数的最小值，就是其导数为0的地方
\[\frac{\partial f}{\partial β_0}=-2\sum_{i=1}^{n} (y_i - β_0 - β_1x_i)=0 \]
整理一下：
\[\sum_{i=1}^{n} (y_i - β_0 - β_1x_i)=\sum_{i=1}^{n}y_i - \sum_{i=1}^{n}β_0 - \sum_{i=1}^{n}β_1x_i=0 \]
方程1： $$\sum_{i=1}^{n}y_i = nβ_0 + β_1⋅\sum_{i=1}^{n}x_i$$
同理对\(β_1\)求偏导
\[\frac{\partial f}{\partial β_1} = \sum_{i=1}^{n} 2(y_i - β_0 - β_1x_i) ⋅ -x_i =0 \]
整理一下：
\[\sum_{i=1}^{n} 2(y_i - β_0 - β_1x_i) ⋅ -x_i=-2(\sum_{i=1}^{n} x_iy_i-\sum_{i=1}^{n}β_0x_i-\sum_{i=1}^{n}β_1x_i^2)=0 \]
方程2：
\[\sum_{i=1}^{n} x_iy_i = β_0⋅\sum_{i=1}^{n}x_i+β_1⋅\sum_{i=1}^{n}x_i^2 \]
我们将样本数据\((x_i, y_i)\)求平均值，就是样本均值
\[\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i \]
\[\bar{y}=\frac{1}{n}\sum_{i=1}^{n}y_i \]
带入方程1：
\[\bar{y} = β_0 + β_1\bar{x} \]
将\(β_0\)带入方程2计算\(β_1\)：
\[\sum_{i=1}^{n} x_iy_i = (\bar{y} - β_1\bar{x})⋅\sum_{i=1}^{n}x_i+β_1⋅\sum_{i=1}^{n}x_i^2 = n\bar{x}\bar{y}-nβ_1\bar{x}^2+β_1⋅\sum_{i=1}^{n}x_i^2 \]
\[\sum_{i=1}^{n} x_iy_i - n\bar{x}\bar{y} = β_1(-n\bar{x}^2+\sum_{i=1}^{n}x_i^2) \]
\[β_1=\frac{\sum_{i=1}^{n} x_iy_i - n\bar{x}\bar{y}}{\sum_{i=1}^{n}x_i^2-n\bar{x}^2} \]
经过漫长的推导：
\[β_1=\frac{\sum_{i=1}^{n} x_iy_i - n\bar{x}\bar{y}}{\sum_{i=1}^{n}x_i^2-n\bar{x}^2} \]
\[β_0 = \bar{y} - β_1\bar{x} \]
小结
通过最小二乘法，一步一步计算出截距与回归系数的公式，这其中用到的数学知识主要有：多元函数求偏导、导数的计算
多元回归下的最小二乘法
推导过程
多元线性回归的数学模型：
\[y = β_0 + β_1x_1 + β_2x_2 + \dots + β_nx_n \]
相比于一元回归的最小二乘法，多元回归可谓有一点复杂，因为特征数量的增加，带来的样本与特征的快速上升
比如有3个样本，2个特征，记为：\(y = β_0 + β_1x_1 + β_2x_2\)
\[x^{(1)} = [1,2] \]
\[x^{(2)} = [3,4] \]
\[x^{(3)} = [5,6] \]
用矩阵表达：
\[X=\begin{bmatrix} 1 & 2 \\ 3 & 4 \\ 5 & 6 \end{bmatrix} \]
假设有m个特征，n个样本
\[\hat{y}_i = β_0 + β_1x_1^{(1)} + β_2x_2^{(1)} + \dots + β_nx_n^{(1)} \]
\[\hat{y}_i = β_0 + β_1x_1^{(2)} + β_2x_2^{(2)} + \dots + β_nx_n^{(2)} \]
\[... \]
\[\hat{y}_i = β_0 + β_1x_1^{(m)} + β_2x_2^{(m)} + \dots + β_nx_n^{(m)} \]
\[X=\begin{bmatrix} 1 & x_1^{(1)} & x_2^{(1)} & \dots & x_n^{(1)} \\ 1 & x_1^{(2)} & x_2^{(2)} & \dots & x_n^{(2)} \\ ... \\ 1 & x_1^{(m)} & x_2^{(m)} & \dots & x_n^{(m)} \\ \end{bmatrix} \]
\[β=\begin{bmatrix} β_0 \\ β_1 \\ ... \\ β_n \\ \end{bmatrix} \]
所以通过矩阵的点积，可以将公式改写为，在m个特征，n个样本下：
\[\hat{y}_i=Xβ \]
带入最小二乘法公式：
\[\text{f} = \sum_{i=1}^{n} (y_i - \hat{y}i)^2 = \sum{i=1}^{n} (y_i - Xβ)^2 = \| {y_i} - Xβ \|_2 = (y_i - Xβ)^T(y_i - Xβ) \]
展开矩阵：
\[(y_i - Xβ)^T(y_i - Xβ) = y_i^Ty_i-y_i^TXβ-X^Tβ^Ty_i+X^Tβ^TXβ \]
由于 \(y_i^TXβ\) 的转置矩阵就是 \(X^Tβ^Ty_i\) ：
\[= y_i^Ty_i-2X^Tβ^Ty_i+X^Tβ^TXβ \]
为了找到β最小值，先求导然后令导数为0
\[\frac{\partial f}{\partial β} = (y_i^Ty_i-2X^Tβ^Ty_i+X^Tβ^TXβ)' = -2X^Ty_i+2X^TXβ = 0 \]
=>
\[X^Ty_i=X^TXβ \]
两边同时乘以\(X^TX\)逆矩阵，换句话说，\(X^TX\)是可逆矩阵：
\[β=(X^TX)^{-1}X^Ty_i \]
小结
这其中用到的数学知识主要有：导数、矩阵等方面的知识
用MathJax语法写公式真的太费劲了！还不如在纸上手写
联系我
- 联系我，做深入的交流
至此，本文结束
在下才疏学浅，有撒汤漏水的，请各位不吝赐教...