非线性最小二乘

最小二乘问题详解8：Levenberg-Marquardt方法对于非线性最小二乘问题的求解来说，除了Gauss-Newton方法（以下简称GN方法）和梯度下降法，另外一种更加实用的求解算法就是Levenberg-Marquardt方法（以下简称LM方法）了。LM方法综合了GN方法和梯度下降法的特性，在实践中表现出极强的鲁棒性和收敛性。在阅读本文之前，至少需要阅读以下三篇前置文章：

最小二乘问题详解6：梯度下降法在之前的两篇文章《最小二乘问题详解4：非线性最小二乘》、《最小二乘问题详解5：非线性最小二乘求解实例》中，笔者介绍了非线性最小二乘问题，并使用Gauss-Newton方法来进行求解。不过，求解非线性最小二乘问题还有另外一种方法——梯度下降法。

最小二乘问题详解5：非线性最小二乘求解实例在上一篇文章《最小二乘问题详解4：非线性最小二乘》中，介绍了非线性最小二乘问题的基本定义、求解思路及其核心算法Gauss-Newton方法，强调通过局部线性化将非线性问题转化为迭代的线性最小二乘子问题来求解。由于非线性最小二乘问题起来比线性最小二乘复杂多了，这里就通过一个拟合曲线\(y = \exp(a x^2 + b x + c)\)的实例来加深对非线性最小二乘问题的理解。

最小二乘问题详解4：非线性最小二乘在论述最小二乘问题的时候，很多文章都喜欢用拟合直线来举例，但是在现实中像拟合直线这样的线性最小二乘问题往往不是常态，现实世界中更多是像投影成像这种非线性最小二乘问题。在本文中，我们就讲解一下非线性最小二乘问题。

我是有底线的