最小二乘

线性回归与正则化：从最小二乘到岭回归、LASSO专栏导语：本专栏系统讲解数学建模的经典方法与 AI 智能方法，并打通两者之间的联系。上一篇我们用 AHP × 熵权 × TOPSIS 完成了评价类模型的收官（熵权法与TOPSIS：数据驱动的客观评价）。从这一篇开始进入预测类模型，从最基础也最重要的线性回归讲起——它不仅是统计建模的地基，更是神经网络在"单层、无激活函数"时的特例。我们会讲清最小二乘、 R 2 R^2 R2、岭回归与 LASSO 正则化，并看看过拟合这条主线是如何一路贯穿到深度学习的。

最小二乘问题详解9：使用Ceres求解非线性最小二乘在上一篇文章《最小二乘问题详解8：Levenberg-Marquardt方法》中，笔者使用 Eigen 实现了求解非线性最小二乘问题的 Levenberg-Marquardt 方法。不过在实际的工程实践中，更多的是使用像 Ceres Solver 这样成熟的、专门用于求解大规模非线性最小二乘问题的库。不过，因为有着极强的专业性，像 Ceres Solver 这样的库使用起来并不容易。如果是初次接触这方面知识的读者，非常建议先读一读本系列的前置文章。

最小二乘问题详解7：正则化最小二乘在之前的文章《最小二乘问题详解4：非线性最小二乘》、《最小二乘问题详解5：非线性最小二乘求解实例》和《最小二乘问题详解6：梯度下降法》中分别介绍了使用Gauss-Newton方法（简称GN方法）和梯度下降法求解最小二乘问题之后，让我们插入另一个基础知识：正则化最小二乘（Regularized Least Squares），也就是大家常说的岭估计（Ridge Estimator），因为接下来要介绍的 Levenberg-Marquardt方法会用到这个思想。

最小二乘问题详解3：线性最小二乘实例在上一篇文章《最小二乘问题详解2：线性最小二乘求解》中笔者详细介绍了如何求解线性最小二乘问题，一般使用QR分解或者SVD分解法，这里笔者就实现一个具体的案例来验证一下。

最小二乘问题详解2：线性最小二乘求解复习上一篇文章《最小二乘问题详解1：线性最小二乘》中的知识，对于一个线性问题模型：那么线性最小二乘问题可以表达为求一组待定值\(\theta\)，使得残差的平方和最小：

最小二乘问题详解1：线性最小二乘最小二乘可以说是现代科学与工程的“隐形骨架”，几乎无处不在。比如：笔者之前对最小二乘问题也只是一知半解，这里就详细学习总结一下。

科研工作站

Matlab|基于PMU相量测量单元进行电力系统电压幅值和相角状态估计程序采用三种方法对14节点和30节点电力系统状态进行评估：①PMU同步相量测量单元结合加权最小二乘法（WLS）分析电力系统的电压幅值和相角状态；

我是有底线的