随机矩阵投影长度保持引理及其证明

原论文中的引理 2 \textbf{2} 2

1. \textbf{1. } 1. 引理 1 \textbf{1} 1(前提之一)

1.1. \textbf{1.1. } 1.1. 引理 1 \textbf{1} 1的内容

👉前提： X ∼ N ( 0 , σ ) X\sim{}N(0,\sigma) X∼N(0,σ)即 f ( x ) = 1 2 π σ e -- x 2 2 σ 2 f(x)\text{=}\cfrac{1}{\sqrt{2\pi}\sigma}e^{--\frac{x^{2}}{2\sigma^{2}}} f(x)=2π σ1e--2σ2x2，且 ∀ α < 1 2 σ 2 \forall{}\alpha{}\text{<}\cfrac{1}{2\sigma^{2}} ∀α<2σ21

👉结论： E [ e α X 2 ] = 1 1 -- 2 α σ 2 \mathrm{E}\left[e^{\alpha{}X^{2}}\right]\text{=}\cfrac{1}{\sqrt{1--2\alpha{}\sigma^{2}}} E[eαX2]=1--2ασ2 1

2. \textbf{2. } 2. 引理 1 \textbf{1} 1的证明

↪ E [ e α X 2 ] = ∫ -- ∞ ∞ e α x 2 f ( x ) d x = ∫ -- ∞ ∞ e α x 2 ⋅ 1 2 π σ e -- x 2 2 σ 2 d x = ∫ -- ∞ ∞ 1 2 π σ e -- x 2 2 σ 2 ( 1 -- 2 α σ 2 ) d x \displaystyle{}\mathrm{E}\left[e^{\alpha{}X^2}\right]\text{=}\int_{--\infty}^{\infty}e^{\alpha{}x^2}f(x)dx\text{=}\int_{--\infty}^{\infty} e^{\alpha x^2} \cdot \frac{1}{\sqrt{2 \pi} \sigma} e^{--\frac{x^2}{2 \sigma^2}} d x\text{=}\int_{--\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma} e^{--\frac{x^2}{2 \sigma^2}\left(1--2 \alpha \sigma^2\right)} d x E[eαX2]=∫--∞∞eαx2f(x)dx=∫--∞∞eαx2⋅2π σ1e--2σ2x2dx=∫--∞∞2π σ1e--2σ2x2(1--2ασ2)dx

↪令 σ ′ = σ 1 -- 2 α σ 2 \sigma^{\prime}=\cfrac{\sigma}{\sqrt{1--2 \alpha \sigma^2}} σ′=1--2ασ2 σ，其中必定要求 1 -- 2 α σ 2 >0 1--2 \alpha \sigma^2\text{>0} 1--2ασ2>0即 α < 1 2 σ 2 \alpha{}\text{<}\cfrac{1}{2\sigma^{2}} α<2σ21

↪ E [ e α X 2 ] = ∫ -- ∞ ∞ 1 -- 2 α σ 2 2 π σ 1 -- 2 α σ 2 e -- x 2 2 σ 2 ( 1 -- 2 α σ 2 ) d x = 1 1 -- 2 α σ 2 ∫ − ∞ ∞ 1 2 π σ ′ e − x 2 2 σ ′ 2 d x \displaystyle{}\mathrm{E}\left[e^{\alpha X^2}\right]\text{=}\int_{--\infty}^{\infty} \cfrac{\sqrt{1--2 \alpha \sigma^2}}{\sqrt{2 \pi} \sigma \sqrt{1--2 \alpha \sigma^2}} e^{--\frac{x^2}{2 \sigma^2}\left(1--2 \alpha \sigma^2\right)} d x\text{=}\cfrac{1}{\sqrt{1--2\alpha{}\sigma^{2}}}\int_{-\infty}^{\infty} \cfrac{1}{\sqrt{2 \pi} \sigma^{\prime}} e^{-\frac{x^2}{2 \sigma^{\prime 2}}} d x E[eαX2]=∫--∞∞2π σ1--2ασ2 1--2ασ2 e--2σ2x2(1--2ασ2)dx=1--2ασ2 1∫−∞∞2π σ′1e−2σ′2x2dx

↪考虑到 ∫ − ∞ ∞ 1 2 π σ ′ e − x 2 2 σ ′ 2 d x = 1 \displaystyle{}\int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma^{\prime}} e^{-\frac{x^2}{2 \sigma^{\prime 2}}} d x\text{=}1 ∫−∞∞2π σ′1e−2σ′2x2dx=1，所以 E [ e α X 2 ] = 1 1 -- 2 α σ 2 \mathrm{E}\left[e^{\alpha{}X^{2}}\right]\text{=}\cfrac{1}{\sqrt{1--2\alpha{}\sigma^{2}}} E[eαX2]=1--2ασ2 1

2. \textbf{2. } 2. 引理 2 \textbf{2} 2

2.1. \textbf{2.1. } 2.1. 引理 2 \textbf{2} 2的内容

👉前提 1 1 1：设一个随机矩阵 S = ( s i j ) ∈ R t × d S\text{=}(s_{ij})\text{∈}\mathbb{R}^{t\text{×}d} S=(sij)∈Rt×d，每个元素 s i j s_{ij} sij独立同分布于 N ( 0 , 1 ) N(0,1) N(0,1)

👉前提 2 2 2：对任意固定向量 u ∈ R d × 1 u\text{∈}\mathbb{R}^{d\text{×}1} u∈Rd×1(即 u ′ u^{\prime} u′不随机)，定义 u ′ = 1 t ( S u ) u^{\prime}\text{=}\cfrac{1}{\sqrt{t}}(Su) u′=t 1(Su)

👉:结论 1 1 1： E [ ∥ u ′ ∥ 2 ] = ∥ u ∥ 2 \text{E}\left[\left\|u^{\prime}\right\|^2\right]\text{=}\|u\|^2 E[∥u′∥2]=∥u∥2，即 ∥ u ′ ∥ 2 \left\|u^{\prime}\right\|^2 ∥u′∥2和 ∥ u ∥ 2 \|u\|^2 ∥u∥2在统计学上是相等的

👉结论 2 2 2： Pr [ ∥ u ′ ∥ 2 ∉ ( 1 ± ε ) ∥ u ∥ 2 ] ≤ 2 e -- ( ε 2 -- ε 3 ) t 4 \text{Pr}\left[\left\|u^{\prime}\right\|^2\notin{}(1\text{±}\varepsilon{})\|u\|^2\right]\text{≤}2e^{--\left(\varepsilon{}^2--\varepsilon{}^3\right)\frac{t}{4}} Pr[∥u′∥2∈/(1±ε)∥u∥2]≤2e--(ε2--ε3)4t，即 ∥ u ′ ∥ 2 \left\|u^{\prime}\right\|^2 ∥u′∥2和 ∥ u ∥ 2 \|u\|^2 ∥u∥2在实际值上偏差极小且可控

2.2. \textbf{2.2. } 2.2. 引理 2 \textbf{2} 2的证明

2.2.1. \textbf{2.2.1. } 2.2.1. 对结论 1 \textbf{1} 1的证明

↪对于 s i j ∼ N ( 0 , 1 ) s_{ij}\sim{}N(0,1) sij∼N(0,1)，则有 S ⋅ j u = ∑ i = 1 d s i j u i ∼ N ( 0 , ∥ u ∥ 2 ) \displaystyle{}S_{\cdot{}j}u\text{=}\sum_{i=1}^{d}s_{ij}u_i\sim{}N(0,\|u\|^2) S⋅ju=i=1∑dsijui∼N(0,∥u∥2)

均值 E [ S ⋅ j u ] =E [ ∑ i = 1 d s i j u i ] = ∑ i = 1 d u i E [ s i j ] = 0 \displaystyle{}\text{E}\left[S_{\cdot{}j}u\right]\text{=}\text{E}\left[\sum_{i=1}^ds_{ij}u_i\right]\text{=}\sum_{i=1}^du_i\text{E}\left[s_{ij}\right]\text{=}0 E[S⋅ju]=E[i=1∑dsijui]=i=1∑duiE[sij]=0

方差 Var [ S ⋅ j u ] =Var [ ∑ i = 1 d s i j u i ] = ∑ i = 1 d Var [ s i j u i ] = ∑ i = 1 d u i 2 Var [ s i j ] = ∑ i = 1 d u i 2 = ∥ u ∥ 2 \displaystyle{}\text{Var}\left[S_{\cdot{}j}u\right]\text{=}\text{Var}\left[\sum_{i=1}^ds_{ij}u_i\right]\text{=}\sum_{i=1}^d\text{Var}[s_{ij}u_i]\text{=}\sum_{i=1}^du_i^2\text{Var}[s_{ij}]\text{=}\sum_{i=1}^du_i^2\text{=}\|u\|^2 Var[S⋅ju]=Var[i=1∑dsijui]=i=1∑dVar[sijui]=i=1∑dui2Var[sij]=i=1∑dui2=∥u∥2

↪正态分布性质 E [ X 2 ] = σ 2 \text{E}[X^2]\text{=}\sigma{}^2 E[X2]=σ2，所以 E [ ( S ⋅ j u ) 2 ] = ∥ u ∥ 2 \text{E}\left[\left(S_{\cdot{}j}u\right)^2\right]\text{=}\|u\|^2 E[(S⋅ju)2]=∥u∥2

↪所以 E [ ∥ S u ∥ 2 ] =E [ ∑ j = 1 t ( S ⋅ j u ) 2 ] = ∑ j = 1 t E [ ( S ⋅ j u ) 2 ] = t ∥ u ∥ 2 \displaystyle{}\text{E}\left[\|Su\|^2\right]\text{=}\text{E}\left[\sum_{j\text{=}1}^t\left(S_{\cdot{}j}u\right)^2\right]\text{=}\sum_{j=1}^t\text{E}\left[\left(S_{\cdot{}j}u\right)^2\right]\text{=}t\|u\|^2 E[∥Su∥2]=E[j=1∑t(S⋅ju)2]=j=1∑tE[(S⋅ju)2]=t∥u∥2

↪根据 u ′ = 1 t ( S u ) u^{\prime}\text{=}\cfrac{1}{\sqrt{t}}(Su) u′=t 1(Su)，得到 ∥ u ′ ∥ 2 = 1 t ∥ S u ∥ 2 \left\|u^{\prime}\right\|^2\text{=}\cfrac{1}{t}\|Su\|^2 ∥u′∥2=t1∥Su∥2

↪所以 E [ ∥ u ′ ∥ 2 ] =E [ 1 t ∥ S u ∥ 2 ] = 1 t E [ ∥ S u ∥ 2 ] = 1 t ( t ∥ u ∥ 2 ) = ∥ u ∥ 2 \displaystyle{}\text{E}\left[\left\|u^{\prime}\right\|^2\right]\text{=}\text{E}\left[\cfrac{1}{t}\|Su\|^2\right]\text{=}\cfrac{1}{t}\text{E}\left[\|Su\|^2\right]\text{=}\cfrac{1}{t}\left(t\|u\|^2\right)\text{=}\|u\|^2 E[∥u′∥2]=E[t1∥Su∥2]=t1E[∥Su∥2]=t1(t∥u∥2)=∥u∥2

2.2.2. \textbf{2.2.2. } 2.2.2. 对结论 2 \textbf{2} 2的证明(正半边)

↪考虑到 S ⋅ j u ∼ N ( 0 , ∥ u ∥ 2 ) \displaystyle{}S_{\cdot{}j}u\sim{}N(0,\|u\|^2) S⋅ju∼N(0,∥u∥2)，故将其归一化为 X j = S ⋅ j u ∥ u ∥ ∼ N ( 0 , 1 ) X_j\text{=}\cfrac{S_{\cdot{}j}u}{\|u\|}\sim{}N(0,1) Xj=∥u∥S⋅ju∼N(0,1)

↪由此定义 X = ∑ j = 1 t X j 2 \displaystyle{}X\text{=}\sum_{j=1}^tX_j^2 X=j=1∑tXj2(自由度为 t t t的 χ 2 \chi^2 χ2分布)，由此 ∥ u ′ ∥ 2 = 1 t ∥ S u ∥ 2 = 1 t ∑ j = 1 t ( S ⋅ j u ) 2 = ∥ u ∥ 2 1 t ∑ j = 1 t X j 2 = 1 t ∥ u ∥ 2 X \displaystyle{}\left\|u^{\prime}\right\|^2\text{=}\cfrac{1}{t}\|Su\|^2\text{=}\cfrac{1}{t}\sum_{j=1}^t\left(S_{\cdot{}j}u\right)^2\text{=}\|u\|^2\cfrac{1}{t}\sum_{j=1}^tX_j^2\text{=}\cfrac{1}{t}\|u\|^2X ∥u′∥2=t1∥Su∥2=t1j=1∑t(S⋅ju)2=∥u∥2t1j=1∑tXj2=t1∥u∥2X

↪由此 Pr [ ∥ u ′ ∥ 2 ≥ ( 1 + ε ) ∥ u ∥ 2 ] =Pr [ X ≥ ( 1 + ε ) t ] \text{Pr}\left[\left\|u^{\prime}\right\|^2\text{≥}(1\text{+}\varepsilon)\|u\|^2\right]\text{=}\text{Pr}\left[X\text{≥}(1\text{+}\varepsilon{})t\right] Pr[∥u′∥2≥(1+ε)∥u∥2]=Pr[X≥(1+ε)t]

↪考虑马可夫不等式的指数形式： Pr [ X ≥ ( 1 + ε ) t ] =Pr [ e α X ≥ e α ( 1 + ε ) t ] ≤ E [ e α X ] e α ( 1 + ε ) t \text{Pr}\left[X\text{≥}(1\text{+}\varepsilon{})t\right]\text{=}\text{Pr}\left[e^{\alpha{}X}\text{≥}e^{\alpha{}(1\text{+}\varepsilon{})t}\right]\text{≤}\cfrac{\text{E}\left[e^{\alpha{}X}\right]}{e^{\alpha{}(1\text{+}\varepsilon{})t}} Pr[X≥(1+ε)t]=Pr[eαX≥eα(1+ε)t]≤eα(1+ε)tE[eαX]

考虑到 X = ∑ j = 1 t X j 2 \displaystyle{}X\text{=}\sum_{j=1}^tX_j^2 X=j=1∑tXj2，所以 E [ e α X ] =E [ e α ( X 1 2 + X 2 2 + ⋯ + X t 2 ) ] =E [ e α X 1 2 e α X 2 2 ⋯ e α X t 2 ] =E [ ∏ j = 1 t e α X j 2 ] = ∏ j = 1 t E [ e α X j 2 ] \displaystyle{}\text{E}\left[e^{\alpha{}X}\right]\text{=}\text{E}\left[e^{\alpha{}(X^2_1\text{+}X^2_2\text{+}\cdots\text{+}X^2_t)}\right]\text{=}\text{E}\left[e^{\alpha{}X^2_1}e^{\alpha{}X^2_2}\cdots{}e^{\alpha{}X^2_t}\right]\text{=}\text{E}\left[\prod_{j=1}^te^{\alpha{}X^2_j}\right]\text{=}\prod_{j=1}^t\text{E}\left[e^{\alpha{}X_j^2}\right] E[eαX]=E[eα(X12+X22+⋯+Xt2)]=E[eαX12eαX22⋯eαXt2]=E[j=1∏teαXj2]=j=1∏tE[eαXj2]

在引理 1 1 1中已经证明 E [ e α X j 2 ] = 1 1 -- 2 α σ 2 ( α < 1 2 σ 2 ) \text{E}\left[e^{\alpha{}X_j^{2}}\right]\text{=}\cfrac{1}{\sqrt{1--2\alpha{}\sigma^{2}}}(\alpha{}\text{<}\cfrac{1}{2\sigma^{2}}) E[eαXj2]=1--2ασ2 1(α<2σ21)，考虑到此处 σ ( X j ) = 1 \sigma({X_j})\text{=}1 σ(Xj)=1所以 E [ e α X j 2 ] = 1 1 -- 2 α ( α < 1 2 ) \text{E}\left[e^{\alpha{}X_j^{2}}\right]\text{=}\cfrac{1}{\sqrt{1--2\alpha{}}}(\alpha{}\text{<}\cfrac{1}{2}) E[eαXj2]=1--2α 1(α<21)

所以 E [ e α X ] = ∏ j = 1 t ( 1 1 -- 2 α ) = ( 1 1 -- 2 α ) t = 1 ( 1 -- 2 α ) t 2 \displaystyle{}\text{E}\left[e^{\alpha{}X}\right]\text{=}\prod_{j=1}^t\left(\cfrac{1}{\sqrt{1--2\alpha{}}}\right)\text{=}\left(\cfrac{1}{\sqrt{1--2\alpha{}}}\right)^t\text{=}\cfrac{1}{(1--2\alpha)^{\frac{t}{2}}} E[eαX]=j=1∏t(1--2α 1)=(1--2α 1)t=(1--2α)2t1

代入原式得 Pr [ X ≥ ( 1 + ε ) t ] ≤ E [ e α X ] e α ( 1 + ε ) t = ( 1 -- 2 α ) -- t 2 e α ( 1 + ε ) t = ( e -- 2 ( 1 + ε ) α 1 -- 2 α ) t 2 \text{Pr}\left[X\text{≥}(1\text{+}\varepsilon{})t\right]\text{≤}\cfrac{\text{E}\left[e^{\alpha{}X}\right]}{e^{\alpha{}(1\text{+}\varepsilon{})t}}\text{=}\cfrac{{(1--2\alpha)^{--\frac{t}{2}}}}{e^{\alpha{}(1\text{+}\varepsilon{})t}}\text{=}\left(\cfrac{e^{--2(1\text{+}\varepsilon)\alpha}}{1--2\alpha}\right)^{\frac{t}{2}} Pr[X≥(1+ε)t]≤eα(1+ε)tE[eαX]=eα(1+ε)t(1--2α)--2t=(1--2αe--2(1+ε)α)2t

↪对于 Pr [ X ≥ ( 1 + ε ) t ] ≤ ( e -- 2 ( 1 + ε ) α 1 -- 2 α ) t 2 \text{Pr}\left[X\text{≥}(1\text{+}\varepsilon{})t\right]\text{≤}\left(\cfrac{e^{--2(1\text{+}\varepsilon)\alpha}}{1--2\alpha}\right)^{\frac{t}{2}} Pr[X≥(1+ε)t]≤(1--2αe--2(1+ε)α)2t，有必要在 0 < α < 1 2 0\text{<}\alpha{}\text{<}\cfrac{1}{2} 0<α<21的范围内确定 f ( α ) = ( e -- 2 ( 1 + ε ) α 1 -- 2 α ) t 2 f(\alpha)\text{=}\left(\cfrac{e^{--2(1\text{+}\varepsilon)\alpha}}{1--2\alpha}\right)^{\frac{t}{2}} f(α)=(1--2αe--2(1+ε)α)2t的最小值

对于 ln ⁡ ( f ( α ) ) = t 2 [ -- 2 ( 1 + ε ) α -- ln ⁡ ( 1 -- 2 α ) ] \ln(f(\alpha))\text{=}\cfrac{t}{2}[--2(1\text{+}\varepsilon)\alpha--\ln(1--2\alpha)] ln(f(α))=2t[--2(1+ε)α--ln(1--2α)]，令 g ( α ) =-- 2 ( 1 + ε ) α -- ln ⁡ ( 1 -- 2 α ) g(\alpha)\text{=}--2(1\text{+}\varepsilon)\alpha--\ln(1--2\alpha) g(α)=--2(1+ε)α--ln(1--2α)，如下图( ε = 3 \varepsilon\text{=}3 ε=3)

一阶导 d g ( α ) d α = 2 1 -- 2 α -- 2 ( 1 + ε ) \cfrac{\text{d}g{(\alpha)}}{\text{d}\alpha}\text{=}\cfrac{2}{1--2\alpha}--2(1\text{+}\varepsilon) dαdg(α)=1--2α2--2(1+ε)，具有临界点 α ∗ = ε 2 ( 1 + ε ) ∈ ( 0 , 1 2 ) \alpha^*\text{=}\cfrac{\varepsilon}{2(1\text{+}\varepsilon)}\text{∈}\left(0,\cfrac{1}{2}\right) α∗=2(1+ε)ε∈(0,21)，故 ε > 0 \varepsilon\text{>}0 ε>0

代入原式即得 Pr [ X ≥ ( 1 + ε ) t ] ≤ ( e -- 2 ( 1 + ε ) α 1 -- 2 α ) t 2 ≤ ( ( 1 + ε ) e -- ε ) t 2 \text{Pr}\left[X\text{≥}(1\text{+}\varepsilon{})t\right]\text{≤}\left(\cfrac{e^{--2(1\text{+}\varepsilon)\alpha}}{1--2\alpha}\right)^{\frac{t}{2}}\text{≤}\left((1\text{+}\varepsilon) e^{--\varepsilon}\right)^{\frac{t}{2}} Pr[X≥(1+ε)t]≤(1--2αe--2(1+ε)α)2t≤((1+ε)e--ε)2t

↪进一步对 h ( ε ) = ( ( 1 + ε ) e -- ε ) t 2 h(\varepsilon)\text{=}\left((1\text{+}\varepsilon)e^{--\varepsilon}\right)^{\frac{t}{2}} h(ε)=((1+ε)e--ε)2t的分析

泰勒展开 ln ⁡ ( 1 + ε ) = ε -- ε 2 2 + ε 3 3 + O ( ε 4 ) \ln{}(1\text{+}\varepsilon)\text{=}\varepsilon--\cfrac{\varepsilon^2}{2}\text{+}\cfrac{\varepsilon^3}{3}\text{+}O\left(\varepsilon^4\right) ln(1+ε)=ε--2ε2+3ε3+O(ε4)，则 ln ⁡ ( 1 + ε ) -- ε ≤-- ε 2 2 + ε 3 3 ≤-- 1 2 ( ε 2 -- ε 3 ) \ln(1\text{+}\varepsilon)--\varepsilon\text{≤}--\cfrac{\varepsilon^2}{2}\text{+}\cfrac{\varepsilon^3}{3}\text{≤}--\cfrac{1}{2}\left(\varepsilon^2--\varepsilon^3\right) ln(1+ε)--ε≤--2ε2+3ε3≤--21(ε2--ε3)

故在 ln ⁡ ( h ( ε ) ) = t 2 ( ln ⁡ ( 1 + ε ) -- ε ) ≤-- t 4 ( ε 2 -- ε 3 ) \ln(h(\varepsilon))\text{=}\cfrac{t}{2}(\ln(1\text{+}\varepsilon)--\varepsilon)\text{≤}--\cfrac{t}{4}\left(\varepsilon^2--\varepsilon^3\right) ln(h(ε))=2t(ln(1+ε)--ε)≤--4t(ε2--ε3)，即 h ( ε ) ≤ e -- t 4 ( ε 2 -- ε 3 ) h(\varepsilon)\text{≤}e^{--\frac{t}{4}\left(\varepsilon^2--\varepsilon^3\right)} h(ε)≤e--4t(ε2--ε3)

↪最后 Pr [ ∥ u ′ ∥ 2 ≥ ( 1 + ε ) ∥ u ∥ 2 ] =Pr [ X ≥ ( 1 + ε ) t ] ≤ ( e -- 2 ( 1 + ε ) α 1 -- 2 α ) t 2 ≤ ( ( 1 + ε ) e -- ε ) t 2 ≤ e -- t 4 ( ε 2 -- ε 3 ) \text{Pr}\left[\left\|u^{\prime}\right\|^2\text{≥}(1\text{+}\varepsilon)\|u\|^2\right]\text{=}\text{Pr}\left[X\text{≥}(1\text{+}\varepsilon{})t\right]\text{≤}\left(\cfrac{e^{--2(1\text{+}\varepsilon)\alpha}}{1--2\alpha}\right)^{\frac{t}{2}}\text{≤}\left((1\text{+}\varepsilon) e^{--\varepsilon}\right)^{\frac{t}{2}}\text{≤}e^{--\frac{t}{4}\left(\varepsilon^2--\varepsilon^3\right)} Pr[∥u′∥2≥(1+ε)∥u∥2]=Pr[X≥(1+ε)t]≤(1--2αe--2(1+ε)α)2t≤((1+ε)e--ε)2t≤e--4t(ε2--ε3)

2.2.3. \textbf{2.2.3. } 2.2.3. 对结论 2 \textbf{2} 2的证明(负半边)

↪考虑到 S ⋅ j u ∼ N ( 0 , ∥ u ∥ 2 ) \displaystyle{}S_{\cdot{}j}u\sim{}N(0,\|u\|^2) S⋅ju∼N(0,∥u∥2)，故将其归一化为 X j = S ⋅ j u ∥ u ∥ ∼ N ( 0 , 1 ) X_j\text{=}\cfrac{S_{\cdot{}j}u}{\|u\|}\sim{}N(0,1) Xj=∥u∥S⋅ju∼N(0,1)

↪由此定义 X = ∑ j = 1 t X j 2 \displaystyle{}X\text{=}\sum_{j=1}^tX_j^2 X=j=1∑tXj2(自由度为 t t t的 χ 2 \chi^2 χ2分布)，由此 ∥ u ′ ∥ 2 = 1 t ∥ S u ∥ 2 = 1 t ∑ j = 1 t ( S ⋅ j u ) 2 = ∥ u ∥ 2 1 t ∑ j = 1 t X j 2 = 1 t ∥ u ∥ 2 X \displaystyle{}\left\|u^{\prime}\right\|^2\text{=}\cfrac{1}{t}\|Su\|^2\text{=}\cfrac{1}{t}\sum_{j=1}^t\left(S_{\cdot{}j}u\right)^2\text{=}\|u\|^2\cfrac{1}{t}\sum_{j=1}^tX_j^2\text{=}\cfrac{1}{t}\|u\|^2X ∥u′∥2=t1∥Su∥2=t1j=1∑t(S⋅ju)2=∥u∥2t1j=1∑tXj2=t1∥u∥2X

↪由此 Pr [ ∥ u ′ ∥ 2 ≤ ( 1 -- ε ) ∥ u ∥ 2 ] =Pr [ X ≤ ( 1 -- ε ) t ] =Pr [ -- X ≥-- ( 1 -- ε ) t ] \text{Pr}\left[\left\|u^{\prime}\right\|^2\text{≤}(1\text{--}\varepsilon)\|u\|^2\right]\text{=}\text{Pr}\left[X\text{≤}(1\text{--}\varepsilon{})t\right]\text{=}\text{Pr}\left[--X\text{≥}--(1\text{--}\varepsilon{})t\right] Pr[∥u′∥2≤(1--ε)∥u∥2]=Pr[X≤(1--ε)t]=Pr[--X≥--(1--ε)t]

↪考虑马可夫不等式的指数形式： Pr [ -- X ≥-- ( 1 -- ε ) t ] =Pr [ e α ( -- X ) ≥ e -- α ( 1 -- ε ) t ] ≤ E [ e -- α X ] e -- α ( 1 -- ε ) t \text{Pr}\left[--X\text{≥}--(1\text{--}\varepsilon{})t\right]\text{=}\text{Pr}\left[e^{\alpha{}(--X)}\text{≥}e^{--\alpha{}(1\text{--}\varepsilon{})t}\right]\text{≤}\cfrac{\text{E}\left[e^{--\alpha{}X}\right]}{e^{--\alpha{}(1\text{--}\varepsilon{})t}} Pr[--X≥--(1--ε)t]=Pr[eα(--X)≥e--α(1--ε)t]≤e--α(1--ε)tE[e--αX]

考虑到 X = ∑ j = 1 t X j 2 \displaystyle{}X\text{=}\sum_{j=1}^tX_j^2 X=j=1∑tXj2，所以 E [ e -- α X ] =E [ e -- α ( X 1 2 + X 2 2 + ⋯ + X t 2 ) ] =E [ e -- α X 1 2 e -- α X 2 2 ⋯ e -- α X t 2 ] =E [ ∏ j = 1 t e -- α X j 2 ] = ∏ j = 1 t E [ e -- α X j 2 ] \displaystyle{}\text{E}\left[e^{--\alpha{}X}\right]\text{=}\text{E}\left[e^{--\alpha{}(X^2_1\text{+}X^2_2\text{+}\cdots\text{+}X^2_t)}\right]\text{=}\text{E}\left[e^{--\alpha{}X^2_1}e^{--\alpha{}X^2_2}\cdots{}e^{--\alpha{}X^2_t}\right]\text{=}\text{E}\left[\prod_{j=1}^te^{--\alpha{}X_j^2}\right]\text{=}\prod_{j=1}^t\text{E}\left[e^{--\alpha{}X_j^2}\right] E[e--αX]=E[e--α(X12+X22+⋯+Xt2)]=E[e--αX12e--αX22⋯e--αXt2]=E[j=1∏te--αXj2]=j=1∏tE[e--αXj2]

在引理 1 1 1中已经证明 E [ e -- α X j 2 ] = 1 1 + 2 α σ 2 ( α >-- 1 2 σ 2 ) \text{E}\left[e^{--\alpha{}X_j^{2}}\right]\text{=}\cfrac{1}{\sqrt{1\text{+}2\alpha{}\sigma^{2}}}(\alpha{}\text{>}--\cfrac{1}{2\sigma^{2}}) E[e--αXj2]=1+2ασ2 1(α>--2σ21)，考虑到此处 σ ( X j ) = 1 \sigma({X_j})\text{=}1 σ(Xj)=1所以 E [ e -- α X j 2 ] = 1 1 + 2 α ( α >-- 1 2 ) \text{E}\left[e^{--\alpha{}X_j^{2}}\right]\text{=}\cfrac{1}{\sqrt{1\text{+}2\alpha{}}}(\alpha{}\text{>}--\cfrac{1}{2}) E[e--αXj2]=1+2α 1(α>--21)

所以 E [ e -- α X ] = ∏ j = 1 t ( 1 1 + 2 α ) = ( 1 1 + 2 α ) t = 1 ( 1 + 2 α ) t 2 \displaystyle{}\text{E}\left[e^{--\alpha{}X}\right]\text{=}\prod_{j=1}^t\left(\cfrac{1}{\sqrt{1\text{+}2\alpha{}}}\right)\text{=}\left(\cfrac{1}{\sqrt{1\text{+}2\alpha{}}}\right)^t\text{=}\cfrac{1}{(1\text{+}2\alpha)^{\frac{t}{2}}} E[e--αX]=j=1∏t(1+2α 1)=(1+2α 1)t=(1+2α)2t1

代入原式得 Pr [ -- X ≥-- ( 1 -- ε ) t ] ≤ E [ e -- α X ] e -- α ( 1 -- ε ) t = ( 1 + 2 α ) -- t 2 e -- α ( 1 -- ε ) t = ( e 2 ( 1 -- ε ) α 1 + 2 α ) t 2 \text{Pr}\left[--X\text{≥}--(1\text{--}\varepsilon{})t\right]\text{≤}\cfrac{\text{E}\left[e^{--\alpha{}X}\right]}{e^{--\alpha{}(1--\varepsilon{})t}}\text{=}\cfrac{{(1\text{+}2\alpha)^{--\frac{t}{2}}}}{e^{--\alpha{}(1--\varepsilon{})t}}\text{=}\left(\cfrac{e^{2(1--\varepsilon)\alpha}}{1\text{+}2\alpha}\right)^{\frac{t}{2}} Pr[--X≥--(1--ε)t]≤e--α(1--ε)tE[e--αX]=e--α(1--ε)t(1+2α)--2t=(1+2αe2(1--ε)α)2t

↪对于 Pr [ -- X ≥-- ( 1 -- ε ) t ] ≤ ( e 2 ( 1 -- ε ) α 1 + 2 α ) t 2 \text{Pr}\left[--X\text{≥}--(1\text{--}\varepsilon{})t\right]\text{≤}\left(\cfrac{e^{2(1--\varepsilon)\alpha}}{1\text{+}2\alpha}\right)^{\frac{t}{2}} Pr[--X≥--(1--ε)t]≤(1+2αe2(1--ε)α)2t，有必要在 α >-- 1 2 \alpha{}\text{>}--\cfrac{1}{2} α>--21的范围内确定 f ( α ) = ( e 2 ( 1 -- ε ) α 1 + 2 α ) t 2 f(\alpha)\text{=}\left(\cfrac{e^{2(1--\varepsilon)\alpha}}{1\text{+}2\alpha}\right)^{\frac{t}{2}} f(α)=(1+2αe2(1--ε)α)2t的最小值

对于 ln ⁡ ( f ( α ) ) = t 2 [ 2 ( 1 -- ε ) α -- ln ⁡ ( 1 + 2 α ) ] \ln(f(\alpha))\text{=}\cfrac{t}{2}[2(1--\varepsilon)\alpha--\ln(1\text{+}2\alpha)] ln(f(α))=2t[2(1--ε)α--ln(1+2α)]，令 g ( α ) = [ 2 ( 1 -- ε ) α -- ln ⁡ ( 1 + 2 α ) ] g(\alpha)\text{=}[2(1--\varepsilon)\alpha--\ln(1\text{+}2\alpha)] g(α)=[2(1--ε)α--ln(1+2α)]，如下图( ε =-- 1 3 \varepsilon\text{=}--\cfrac{1}{3} ε=--31)

一阶导 d g ( α ) d α =-- 2 1 + 2 α + 2 ( 1 + ε ) \cfrac{\text{d}g{(\alpha)}}{\text{d}\alpha}\text{=}--\cfrac{2}{1\text{+}2\alpha}\text{+}2(1\text{+}\varepsilon) dαdg(α)=--1+2α2+2(1+ε)，具有临界点 α ∗ = ε 2 ( 1 -- ε ) ∈ ( -- 1 2 , +∞ ) \alpha^*\text{=}\cfrac{\varepsilon}{2(1--\varepsilon)}\text{∈}\left(--\cfrac{1}{2},\text{+∞}\right) α∗=2(1--ε)ε∈(--21,+∞)，故 -- 1 < ε < 1 --1\text{<}\varepsilon\text{<}1 --1<ε<1(由于前提限制故截取为 0 < ε < 1 0\text{<}\varepsilon\text{<}1 0<ε<1)

代入原式即得 Pr [ -- X ≥-- ( 1 -- ε ) t ] ≤ ( e 2 ( 1 -- ε ) α 1 + 2 α ) t 2 ≤ ( ( 1 -- ε ) e ε ) t 2 \text{Pr}\left[--X\text{≥}--(1\text{--}\varepsilon{})t\right]\text{≤}\left(\cfrac{e^{2(1--\varepsilon)\alpha}}{1\text{+}2\alpha}\right)^{\frac{t}{2}}\text{≤}\left((1--\varepsilon) e^{\varepsilon}\right)^{\frac{t}{2}} Pr[--X≥--(1--ε)t]≤(1+2αe2(1--ε)α)2t≤((1--ε)eε)2t

↪进一步对 h ( ε ) = ( ( 1 -- ε ) e ε ) t 2 h(\varepsilon)\text{=}\left((1--\varepsilon) e^{\varepsilon}\right)^{\frac{t}{2}} h(ε)=((1--ε)eε)2t的分析

泰勒展开 ln ⁡ ( 1 -- ε ) =-- ε -- ε 2 2 -- ε 3 3 + O ( ε 4 ) \ln{}(1--\varepsilon)\text{=}--\varepsilon--\cfrac{\varepsilon^2}{2}--\cfrac{\varepsilon^3}{3}\text{+}O\left(\varepsilon^4\right) ln(1--ε)=--ε--2ε2--3ε3+O(ε4)，则 ln ⁡ ( 1 -- ε ) + ε ≤-- ε 2 2 -- ε 3 3 ≤-- 1 2 ( ε 2 -- ε 3 ) \ln(1--\varepsilon)\text{+}\varepsilon\text{≤}--\cfrac{\varepsilon^2}{2}--\cfrac{\varepsilon^3}{3}\text{≤}--\cfrac{1}{2}\left(\varepsilon^2--\varepsilon^3\right) ln(1--ε)+ε≤--2ε2--3ε3≤--21(ε2--ε3)

故在 ln ⁡ ( h ( ε ) ) = t 2 ( ln ⁡ ( 1 -- ε ) + ε ) ≤-- t 4 ( ε 2 -- ε 3 ) \ln(h(\varepsilon))\text{=}\cfrac{t}{2}(\ln(1--\varepsilon)\text{+}\varepsilon)\text{≤}--\cfrac{t}{4}\left(\varepsilon^2--\varepsilon^3\right) ln(h(ε))=2t(ln(1--ε)+ε)≤--4t(ε2--ε3)，即 h ( ε ) ≤ e -- t 4 ( ε 2 -- ε 3 ) h(\varepsilon)\text{≤}e^{--\frac{t}{4}\left(\varepsilon^2--\varepsilon^3\right)} h(ε)≤e--4t(ε2--ε3)

↪最后 Pr [ ∥ u ′ ∥ 2 ≤ ( 1 -- ε ) ∥ u ∥ 2 ] =Pr [ -- X ≥-- ( 1 -- ε ) t ] ≤ ( e 2 ( 1 -- ε ) α 1 + 2 α ) t 2 ≤ ( ( 1 -- ε ) e ε ) t 2 ≤ e -- t 4 ( ε 2 -- ε 3 ) \text{Pr}\left[\left\|u^{\prime}\right\|^2\text{≤}(1\text{--}\varepsilon)\|u\|^2\right]\text{=}\text{Pr}\left[--X\text{≥}--(1\text{--}\varepsilon{})t\right]\text{≤}\left(\cfrac{e^{2(1--\varepsilon)\alpha}}{1\text{+}2\alpha}\right)^{\frac{t}{2}}\text{≤}\left((1--\varepsilon) e^{\varepsilon}\right)^{\frac{t}{2}}\text{≤}e^{--\frac{t}{4}\left(\varepsilon^2--\varepsilon^3\right)} Pr[∥u′∥2≤(1--ε)∥u∥2]=Pr[--X≥--(1--ε)t]≤(1+2αe2(1--ε)α)2t≤((1--ε)eε)2t≤e--4t(ε2--ε3)