1 Laplacian 算子
给定无向图\(G=(V, E)\)，我们在上一篇博客《谱图论：Laplacian二次型和Markov转移算子》中介绍了其对应的Laplacian二次型：
\\\mathcal{E}\[f=\frac{1}{2} \cdot \mathbb{E}_{u \sim v}\left(f(u)-f(v))\^2\\right \]
这里\(f: V\rightarrow \mathbb{R}\)为图的顶点标签，\(u\sim v\)表示服从均匀分布的随机无向边\((u, v)\in E\)。直观地理解，Laplacian二次型刻画了图的"能量"（energy）。\(\mathcal{E}f\)的值越小，也就意味着\(f\)更加"光滑"（smooth），即其值不会沿着边变化得太剧烈。
事实上，我们可以做进一步地等价变换：
\\\begin{aligned} \\mathcal{E}\[f &=\frac{1}{2} \cdot \mathbb{E}{u \sim v}\left(f(u)-f(v))\^2\\right\\ &= \langle f, f \rangle - \mathbb{E}{u\sim v}\leftf(u)f(v)\\right\\ &= \langle f, f \rangle - \langle f, Kf \rangle\\ &= \langle f, If - Kf \rangle \\ &= \langle f, (I - K) f \rangle \end{aligned} \]
这\(K\)为我们在上一篇博客中提到的MarKov转移算子，它满足：\((K f)(u)=\mathbb{E}_{v \sim u}f(v)\)。
对于最后一个等式而言，我们称算子
\L = I - K \\
为图\(G\)的 （归一化）Laplacian算子。
注 对于\(d\)-正则图\(G\)而言，我们有
\L = I - \\frac{1}{d} A = \\frac{1}{d}(dI - A) \\
这里\(A\)为\(G\)的邻接矩阵，\(dI - A\)被称为非归一化Laplacian算子，或直接被简称为Laplacian算子。
和\(K\)一样，\(L\)也是定义在函数空间\(\mathcal{F}=\{f: V \rightarrow \mathbb{R}\}\)上的线性算子，按照以下规则将\(f\in \mathcal{F}\)映射到\(Lf\in \mathcal{F}\)，满足
\Lf(u) = f(u) - \\mathbb{E}_{v\\sim u}\[f(v)， \]
通过研究\(L\)，我们就能把握Laplacian二次型\(\mathcal{E}f = \langle f, Lf \rangle\)的特性，从而把握图\(G\)的特性，这是谱图理论中至关重要的一点。
接下来再来看我们熟悉的那个示性函数例子。
例 设图顶点的子集\(S\subseteq V\), 0-1示性函数\(f=\mathbb{I}_S\)用于指示顶点是否在集合\(S\)中，即：
\f(u)=\\left\\{\\begin{array}{lll} 1 \& \\text { if } \& u \\in S \\\\ 0 \& \\text { if } \& u \\notin S \\end{array}\\right. \\
则我们有：
\\\begin{aligned} \& \\langle f, Lf \\rangle = \\mathbb{E}\[f = \text{Pr}{u\sim v}u\\in S, v\\notin S\\ & \langle f, f\rangle = \mathbb{E}{u\sim \pi}f(u)\^2 = \text{Pr}_{u\sim \pi}u\\in S = \text{vol}(S) \end{aligned} \]
直观地理解，这里\(\text{Pr}_{u\sim v}u\\in S, v\\notin S\)表示"伸出"\(S\)的边占总边数的比例；\(\text{vol}(S)\)表示\(S\)的"体积"。则上述两式的比值
\\\begin{aligned} \\frac{\\langle f, Lf\\rangle}{\\langle f, f \\rangle} \&= \\text{Pr}_{u\\sim v}\\left\[v\\notin S\\mid u \\in S \\right\\ &= \text{Pr}\left \\underbrace{\\text{pick a random } u\\in S}_{\\text{proportional to the degree}}\\text{, do }\\ 1 \\text{ step, that you get out of } S \\right \\ & \in \left0, 1\\right \end{aligned} \]
表示从集合\(S\)中的"逃出"概率。我们将这个比值称为\(S\)的电导（conductance） （我们在博客《图数据挖掘：重叠和非重叠社区检测算法》中介绍过，当时是用来衡量社区划分的质量，这个值越小说明划分得越好），用\(\PhiS\)表示。
2 再论Laplacian二次型的极值
有了\(L\)，那么最小化/最大化\(\mathcal{E}f\)的问题就可以进行进一步的研究了。考虑下列优化问题：
\\\begin{aligned} \& \\max \\quad \\mathcal{E}\[f = \langle f, Lf\rangle = \underbrace{\frac{1}{2}\mathbb{E}{u\sim v}\left\\left(f(u) - f(v)\\right)\^2\\right}{\text{continous func. } f: \space\mathbb{R}^n\rightarrow \mathbb{R}}\\ & \text{s.t.} \underbrace{\quad \lVert f \rVert^2_2 = \langle f, f\rangle = \mathbb{E}{u\sim\pi}f(u)\^2 = 1}{\text{compat set}, \text{ ellipsoid in } \mathbb{R}^n} \quad (\Leftrightarrow\text{Var}f = 1) \end{aligned} \]
存在一个极大值点\(\varphi: V\rightarrow \mathbb{R}\)，它满足：
\L \\varphi=\\lambda \\varphi \\quad \\text { for some } \\lambda \\in \\mathbb{R}， \\
也即\(L\varphi \parallel \varphi\)。此外，该极大点也可以被有效地找到。
推论
\\\mathcal{E}\[\\varphi = \langle \varphi, L\varphi\rangle = \langle \varphi, \lambda \varphi \rangle = \lambda \langle \varphi, \varphi \rangle = \lambda \in \left0, 2\\right \]
事实
\\\begin{aligned} \& \\mathbb{E}\[\\varphi = \mathbb{E}{u\sim \pi}\left\\varphi(u)\\right = \mathbb{E}{u\sim \pi}\left\\varphi(u) \\cdot 1\\right = 0 \Leftrightarrow \langle \varphi, \mathbb{1} \rangle = 0 \Leftrightarrow \varphi \perp \mathbf{1}\\ & \text{Var}\\varphi = 1 \end{aligned} \]
下面我们来证明为什么\(\mathcal{E}f\)的极大值点\(\varphi\)满足\(L\varphi \parallel \varphi\)。
证明 我们采用反证法，即假设极大值点\(\varphi\)满足\(L\varphi \nparallel \varphi\)，如下图所示：
由于\(L\varphi \nparallel \varphi\)，那么我们可以现在\(L\varphi\)与\(\varphi\)之间的垂线方向上取\(f = \varphi + \varepsilon \psi\)（\(\varepsilon\neq 0\)是一个很小的数，\(\psi\)为单位向量），根据勾股定理有\(\lVert f \rVert^2_2 = 1 + \epsilon^2\)。则：
\\\begin{aligned} \\mathcal{E}\[f = \langle f, Lf \rangle &\overset{(1)}{=} \langle \varphi + \varepsilon \psi, L\varphi + L\varepsilon \psi \rangle \\ & \overset{(2)}{=} \langle \varphi, L \varphi \rangle + \underbrace{\varepsilon \langle \phi, L \psi \rangle + \varepsilon \langle \psi, L \varphi \rangle}{L \text{ is self-adjoint}} + \varepsilon^2 \langle \psi, L \psi \rangle\\ & \overset{(3)}{=} \langle \varphi, L \varphi \rangle + \underbrace{2\varepsilon \langle \psi, L \varphi \rangle}{>0} + \mathcal{O}(\epsilon^2) \\ & > \langle \varphi, L \varphi \rangle \end{aligned} \]
（其中等式\((3)\)用到了自伴算子的定义）而这与\(\varphi\)为极大值点相矛盾。因此，\(\mathcal{E}f\)的极大值点\(\varphi\)满足\(L\varphi \parallel \varphi\)。
3 Laplacian算子的谱性质
在上一小节，我们已经证明了\(\varphi\)是一个极大值点。现在我们不采用\(\varphi\)及所有与\(\varphi\)平行的解，而将解限制在与\(\varphi\)相正交的子空间中。这样，优化问题就变为了：
\\\text{Max } \\underbrace{\\langle f, Lf \\rangle}_{\\text{continous func. }} \\quad \\text{s.t.} \\underbrace{\\lVert f \\rVert\^2_2 = \\langle f, f \\rangle = 1}_{\\text{compat set}},\\quad f\\perp \\varphi \\
求解该优化问题可以采用与之前相同的思路，也即存在极大值点\(\varphi^{\prime}\)满足：
\L \\varphi\^{\\prime}=\\lambda\^{\\prime} \\varphi\^{\\prime} \\quad \\text { for some } \\lambda\^{\\prime} \\leqslant \\lambda，\\text{and } \\mathbb{E}\[\\varphi\^{\\prime} = 0 (\Leftrightarrow \langle \varphi^{\prime}, \mathbf{1} \rangle = 0) \]
这里\(\lambda^{\prime} < \lambda\)的原因是\(\lambda\)已经对应了极大值点，而我们添加了新的约束使\(f\nparallel \varphi\)，故这里\(\lambda^{\prime}\)对应的是第二大的极值点。
重复这个步骤，不断寻找第3大，第\(4\)大......的极大值点，并使其与之前找到的所有极大值点正交，直到找到最后一个（第\(n\)大的）极大值点。在这个过程中得到的极大值点都会\(\perp\)于\(\mathbf{1}\)（\(\mathbf{1}\)为全1向量），而最后一个极大值点即为所剩的\(\mathbf{1}\)向量本身，此时有
\L\\mathbf{1}=0 \\
由此可见最后一个特征值（最小的特征值）为0。
通过上面所述的步骤，我们可以找到Laplacian算子的\(n\)个相互正交的规范化特征向量（范数为1）及其对应的特征值。而这事实上和我们在线性代数课程中所学过的谱定理密切相关。
谱定理 若\(T\)为一个实向量空间\(V\)上的自伴算子，则\(V\)有一个由\(T\)的特征向量组成的规范正交基（orthonormal basis）\(\varphi_1, \varphi_2, \cdots, \varphi_{n}\)，每个特征向量分别对应于实特征值\(\lambda_1, \lambda_2, \cdots, \lambda_{n}\)。
我们前面证明过Markov转移算子\(K\)是自伴的，则\(L = I - K\)也是自伴的（事实上，又由于\(\langle f, Lf \rangle \geqslant 0\)，\(L\)还是半正定的）。于是，关于图\(G\)的Laplacian算子就有以下定理：
定理 给定\(G\)及其Laplacian算子\(L\)，则存在规范正交基（函数）\(\mathbf{1} \equiv \varphi_1, \varphi_2, \cdots, \varphi_{n}\)及实数0=\\lambda_1 \\leqslant \\lambda_2\\leqslant \\cdots \\leqslant \\lambda_{n} \\leqslant 2 满足：
\L\\varphi_i = \\lambda_i \\varphi_i \\
我们将\(\lambda_2\)和更广泛的\(\lambda_k\)（\(k\)为一个较小的值）称为低频（low-frequency） 特征值，而将\(\lambda_n\)称为高频（high-frequency） 特征值。
事实上，除了讨论Laplacian算子\(L\)之外，我们也可以讨论Markov转移算子\(K\)的特征向量及特征值。由\(L = I - K\)，我们有
\K \\varphi_i = (I - L) \\varphi_i = I \\varphi_i - L\\varphi_i = \\varphi_i - \\lambda_i \\varphi_i = (1 - \\lambda_i) \\varphi_i, \\
则\(K\)拥有特征向量\(\varphi_i\)及其相伴的特征值 \(\kappa_i = 1 - \lambda_i\)，且\(-1\leqslant \kappa_{n}\leqslant\cdots\leqslant \kappa_2 \leqslant \kappa_1 = 1\)。
定义 给定\(f: V\rightarrow \mathbb{R}\)和正交基\(\varphi_1, \varphi_2, \cdots \varphi_{n}\)，那么\(f\)能够唯一地表示为\(\varphi_i\)的一个线性组合：
\f = \\hat{f}(1) \\varphi_1 + \\hat{f}(2) \\varphi_2 + \\cdots \\hat{f}(n) \\varphi_{n},\\quad \\hat{f}(i)\\in \\mathbb{R} \\
这个性质会为我们带来许多新的结论。
命题 将\(L\)应用于\(f\)，就得到了：
\Lf = \\underbrace{\\lambda_1 \\hat{f}(1) \\varphi_1}_{0} + \\lambda_2 \\hat{f}(2) \\varphi_2 + \\cdots + \\lambda_{n} \\hat{f}(n) \\varphi_{n}， \\
可以看到，\(L\)应用于\(f\)可以转换为分别去应用于正交基。为了方便，我们常常会使用如下所示的记号：
\\\widehat{Lf}(i) = \\lambda_i \\hat{f}(i) \\
此外，我们也可以使用规范正交基来简化我们内积和范数的表示。
命题 给定另一个函数
\g = \\hat{g}(1)\\varphi_1 + \\cdots + \\hat{g}(n)\\varphi_{n}， \\
则\(f\)和\(g\)的内积
\\\langle f, g\\rangle = \\sum_{i, j}\\hat{f}(i)\\hat{g}(j)\\langle \\varphi_i, \\varphi_j \\rangle = \\sum_{1\\leqslant i \\leqslant n}\\hat{f}(i)\\cdot \\hat{g}(i) \\
推论
根据内积我们可以诱导出范数
\\\lVert f \\rVert\^2_2 = \\langle f, f\\rangle = \\sum_{1\\leqslant i \\leqslant n}\\hat{f}(i)\^2， \\
\(f\)的均值可表示为：
\\\mathbb{E\[f}=\mathbb{E}_{u\sim \pi}f(u) = \langle f, \mathbf{1}\rangle=\langle f, \varphi_1 \rangle = \widehat{f}(1) \]
可以看到，\(f\)沿规范正交基的展开式中的第一项就是均值乘单位向量：
\f = \\underbrace{\\hat{f}(1)}_{\\mathbb{E}\[f} \underbrace{\varphi_1}{\mathbf{1}} + \hat{f}(2) \varphi_2 + \cdots \hat{f}(n) \varphi{n}, \quad \hat{f}(i) \in \mathbb{R}， \]
\(f\)的方差可表示为：
\\\begin{aligned} \\text{Var}\[f & = \mathbb{E}f\^2 - \mathbb{E}f^2 \\ & = \sum_{1\leqslant i \leqslant n} \left\\hat{f}(i)\^2\\right - \hat{f}(1)^2 \\ &= \sum_{1< i \leqslant n} \hat{f}(i)^2 \end{aligned} \]
（注意第\(1\)项\(\hat{f}(1)^2 - \hat{f}(1)^2\)抵消掉了）
Laplacian二次型\(\mathcal{E}f\)可表示为：
\\\begin{aligned} \\mathcal{E}\[f &= \langle f, Lf \rangle \\ &= \sum_{i, j}\lambda_i \hat{f}(i)\hat{f}(j)\langle \varphi_i, \varphi_j \rangle\\ &= \sum_{1 < i\leqslant n}\lambda_i \hat{f}(i)^2 \end{aligned} \]
（注意第\(1\)项由于\(\lambda_1=0\)就消失了）
参考
2 Bilibili: CMU计算机科学理论(完结)---你值得拥有的数学和计算机课)
3 Spielman D. Spectral graph theoryJ. Combinatorial scientific computing, 2012, 18: 18.
4 Axler S. Linear algebra done rightM. springer publication, 2015.