泛函和变分法

本文主要记录研究中用到的与泛函和变分法相关的知识点，推导过程不会严谨考虑所有特殊情况，重在直觉理解。

泛函（Functional）

泛函数（Functional，简称泛函）J是以函数为自变量的函数，它将一个定义在某函数空间Y中的自变量函数映射到实数域\\mathcal{R}或复数域\\mathcal{C}，即J:Y\\rightarrow \\mathcal{R}或J:Y\\rightarrow \\mathcal{C}。本文仅讨论实变函数，即值域与定义域都在实数集\\mathcal{R}内。

利用积分，对于函数y(x)\\in Y，泛函J\[y\]可表示为：

\\displaystyle J\[y\] = \\int_{a}\^bF(x,y,y',y'',...)dx

F是一个关于x,y和y的各阶导数的函数。实际上，不仅仅是利用积分，只要是能将函数映射到实数的操作都能用于泛函的映射，如：极值、卷积、特定点函数值，甚至是随机过程等。本文主要以积分举例。

泛函方程

当我们想要找到某个y以使J\[y\]满足特定值C时，可以建立泛函方程：

\\displaystyle J\[y\] = \\int_{a}\^bF(x,y,y',y'',...)dx=C

泛函方程种类较多，等式的左右还能添加额外的函数从而产生更复杂的情况，这里仅讨论简单情况。以上方程并不好直接求解，因为泛函方程的解是函数而非数值。通常利用拉格朗日乘数法将对该方程的求解转换为优化问题：

$\displaystyle \mathcal{L}[y,\lambda] = \int_{a}^bF(x,y,y',y'',...)dx + \lambda(\int_{a}^b F(x,y,y',y'',...)dx - C) $

再利用变分法找使以上新泛函\\mathcal{L}\[y,\\lambda\]取极值的y(x)。

变分法（Calculus of Variations）

变分优化研究如何解决涉及泛函的极值问题，会用到各种方法，如变分法、数值优化、凸优化等，而其中变分法 是求解变分优化问题的核心方法。变分法通过研究一个泛函在函数上的微小变化（即变分, variation），找到使这个泛函达到极值的函数，从而将泛函优化问题转化为数学上可求解的微分方程问题。其核心思想类似"导数为零是极值点"的概念。

对于泛函（为了简化，本文仅考虑一阶导y'）

\\displaystyle J\[y\] = \\int_{a}\^bF(x,y,y')dx

我们期望找到一个y(x)，使J\[y\]达到极值。变分法假设y(x)是一个可能的解，考虑其微小扰动：

\\displaystyle \\tilde{y}(x)\\rightarrow y(x) + \\epsilon \\eta (x)

其中\\epsilon是一个微小的标量，\\eta(x)为任意满足边界条件的光滑函数，有\\eta(a) = \\eta(b) = 0。将上式代入得到扰动后的泛函：

\\displaystyle J\[\\tilde{y}\] = J\[y + \\epsilon \\eta \] = \\int_{a}\^bF(x,y + \\epsilon \\eta, y' + \\epsilon \\eta')dx

针对\\epsilon将上式在\\epsilon=0处泰勒展开：

\begin{equation*} \begin{aligned} J[\tilde{y}] & = \left.J[\tilde{y}] \right|{\epsilon = 0} + \left.\frac{\partial J[\tilde{y}] }{\partial \epsilon}\right|{\epsilon = 0} \cdot \epsilon + \left.\frac{\partial^2 J[\tilde{y}] }{\partial \epsilon^2}\right|_{\epsilon = 0} \cdot \frac{\epsilon^2}{2!} + \dots \\ & = J[y] + \tilde{J}_1 \epsilon + \tilde{J}_2 \epsilon^2 + \dots\\ \end{aligned} \end{equation*}

其中，定义\\delta J = \\tilde{J}_1为一阶变分，类似地，定义$\delta J^2 = \tilde{J}_2 为二阶变分。一阶变分描述了泛函沿扰动方向（即\eta$）的线性变化率。

我们假定$J[\tilde{y}] 在\epsilon=0时取极值，但这是假定的条件，并不能用于后续计算。因此，进一步要用到泛函极值点的定义：如果某个函数y(x)使J[y]在其小范围内的值总是大于或小于其它函数值，则称y(x)是泛函的一个极值点。也就是说，对于任意的扰动函数\eta(x)$，我们用趋近于0的\\epsilon稍微增强该扰动，如果都有J\[\\tilde{y}\]\\leq J\[y\]或J\[\\tilde{y}\]\\geq J\[y\]，则可以判断y(x)此时取到极值。

以上定义，可以判断J\[\\tilde{y}\]关于\\epsilon的左右导数\\lim\\limits_{\\epsilon\\rightarrow 0\^+}\\frac{\\partial J\[\\tilde{y}\]}{\\partial \\epsilon }和\\lim\\limits_{\\epsilon\\rightarrow 0\^-}\\frac{\\partial J\[\\tilde{y}\]}{\\partial \\epsilon }不同号。根据前面假定的光滑性，可得\\lim\\limits_{\\epsilon\\rightarrow 0}\\frac{\\partial J\[\\tilde{y}\]}{\\partial \\epsilon } = 0，即一阶变分\\delta J= \\left.\\frac{\\partial J\[\\tilde{y}\] }{\\partial \\epsilon}\\right\|_{\\epsilon = 0}=0。即解方程：

\begin{equation*} \begin{aligned} \left.\int_{a}^b\frac{\partial \tilde F}{\partial \tilde{y}}\frac{\partial \tilde{y}}{\partial \epsilon} + \frac{\partial \tilde F}{\partial \tilde{y}'} \frac{\partial \tilde{y}'}{\partial \epsilon}dx \right|{\epsilon = 0}&= 0\\ \left.\int{a}^b\frac{\partial \tilde F}{\partial \tilde{y}}\eta + \frac{\partial \tilde F}{\partial \tilde{y}'} \eta'dx\right|_{\epsilon = 0} &= 0\\ \end{aligned} \end{equation*}

由于\\epsilon\\rightarrow 0时，\\tilde F \\rightarrow F, \\tilde y \\rightarrow y, \\tilde y' \\rightarrow y'，得

\\displaystyle \\int_{a}\^b\\frac{\\partial F}{\\partial y}\\eta + \\frac{\\partial F}{\\partial y'} \\eta'dx = 0

利用分部积分将第二项中的\\eta'转换为\\eta，得

\\displaystyle \\int_{a}\^b\\left(\\frac{\\partial F}{\\partial y} - \\frac{d}{dx}\\left(\\frac{\\partial F}{\\partial y'}\\right)\\right)\\eta dx + \\left.\\frac{\\partial F}{\\partial y'}\\eta\\right\|\^b_a= 0

根据边界条件\\eta(a)=\\eta(b) = 0，上式可去除去第二项得

\\displaystyle \\int_{a}\^b\\left(\\frac{\\partial F}{\\partial y} - \\frac{d}{dx}\\left(\\frac{\\partial F}{\\partial y'}\\right)\\right)\\eta dx = 0

由于\\eta是任意满足边界条件的光滑函数，为了保证上式成立，积分表达式的系数必须为零，从而得到欧拉-拉格朗日方程（Euler-Lagrange equation）：

\\displaystyle \\frac{\\partial F}{\\partial y} - \\frac{d}{dx}\\left(\\frac{\\partial F}{\\partial y'}\\right) = 0

欧拉-拉格朗日方程提供了泛函驻点的必要条件，其解包含了所有可能的极值点y(x)。解出欧拉-拉格朗日方程后，可能需要进一步分析解的性质，比如利用二阶变分分析问题的凸性以判断是否全局最优。

实例------最短路径问题

在二维平面上，寻找两点(x_1,y_1)和(x_2,y_2)之间路径最短的曲线y(x)。定义路径长度为：

\\displaystyle L\[y\] = \\int_{x_1}\^{x_2} \\sqrt{1+y'\^2} dx

列出欧拉-拉格朗日方程

\\displaystyle - \\frac{d}{dx}\\left(\\frac{y'}{\\sqrt{1+y'\^2}}\\right) = 0

左右积分得

\begin{equation*} \begin{aligned} \frac{y'}{\sqrt{1+y'^2}} = C\\ y' = \pm\sqrt{\frac{C^2}{1-C^2}} \end{aligned} \end{equation*}

导数y'为常数，说明y(x)为线性函数，为直线。