定理描述
给定一个模型 f : X → Y f:X \to Y f:X→Y，设数据分布 D \mathcal{D} D定义在 X × Y X \times Y X×Y，表示数据真实分布 ，且假设训练集和测试集的样本均从 D \mathcal{D} D中独立同分布(i.i.d)抽取。
设损失函数 为 l : Y × Y → R l:Y \times Y \to \mathbb{R} l:Y×Y→R，假设 l l l是有界的， ∀ y , y ^ ， a ≤ l ( y , y ^ ) ≤ b \forall y, \hat{y}，a \le l(y, \hat{y}) \le b ∀y,y^，a≤l(y,y^)≤b
模型的期望风险 定义为： L D ( f ) = E ( x , y ) ∼ D [ l ( f ( x ) , y ) ] L_{\mathcal{D}}(f) = \mathbb{E}_{(x,y) \sim \mathcal{D}}[l(f(x),y)] LD(f)=E(x,y)∼D[l(f(x),y)]，是模型泛化能力的理论指标
模型的经验分险 定义为： L S t e s t = 1 ∣ S t e s t ∣ ∑ ( x , y ) ∈ S t e s t l ( f ( x ) , y ) L_{S_{test}}=\frac{1}{|S_{test}|}\underset{(x,y) \in S_{test}}{\sum}l(f(x),y) LStest=∣Stest∣1(x,y)∈Stest∑l(f(x),y)，是模型在测试集上平均损失，用于估计 L D ( f ) L_{\mathcal{D}}(f) LD(f)
给定置信参数 δ ∈ ( 0 , 1 ) \delta \in (0, 1) δ∈(0,1)
有以下不等式成立：
Pr [ ∣ L D ( f ) − L S test ( f ) ∣ ≥ ( b − a ) 2 ln ( 2 / δ ) 2 ∣ S test ∣ ] ≤ δ \Pr\left[ \left| L_{\mathcal{D}}(f) - L_{S_{\text{test}}}(f) \right| \geq \sqrt{\frac{(b - a)^2 \ln(2/\delta)}{2 |S_{\text{test}}|}} \right] \leq \delta Pr[∣LD(f)−LStest(f)∣≥2∣Stest∣(b−a)2ln(2/δ) ]≤δ
含义
定理提供了一个概率上界，保证模型 f f f的真实风险 L D ( f ) L_{\mathcal{D}}(f) LD(f)和测试集经验风险 L S t e s t ( f ) L_{S_{test}}(f) LStest(f)之间的差不超过某个阈值的概率至少为 1 − δ 1 - \delta 1−δ
界限随着测试集大小 ∣ S t e s t ∣ |S_{test}| ∣Stest∣的增加而减小（分母变大），表明更多测试数据能更准确地估计真实风险。
界限随着损失函数范围 b − a b-a b−a的增加而增大，反映了损失变异性对泛化误差的影响。
界限随着置信参数 δ \delta δ的减小而增大（因为 l n ( 2 / δ ) ln(2/\delta) ln(2/δ)增大），反映了更高置信度需要更宽松的界。
证明
令 Z i = l ( f ( x i ) , y i ) Z_i = l(f(x_i),y_i) Zi=l(f(xi),yi)，其中 ( x i , y i ) ∈ S t e s t (x_i,y_i) \in S_{test} (xi,yi)∈Stest， i = 1 , 2 , . . . , m , m = ∣ S t e s t ∣ i=1,2,...,m,m=|S_{test}| i=1,2,...,m,m=∣Stest∣
由于 ( x i , y i ) ∼ D (x_i,y_i) \sim \mathcal{D} (xi,yi)∼D， Z i Z_i Zi是独立同分布 的随机变量，且由假设， Z i ∈ [ a , b ] Z_i \in [a,b] Zi∈[a,b]。于是：
E [ Z i ] = E ( x , y ) ∼ D [ l ( f ( x ) , y ) ] = L D ( f ) \mathbb{E}[Z_i]=\mathbb{E}{(x,y) \sim \mathcal{D}}[l(f(x),y)]=L{\mathcal{D}}(f) E[Zi]=E(x,y)∼D[l(f(x),y)]=LD(f)
经验分险为：
L S t e s t ( f ) = 1 m ∑ m i = 1 Z i L_{S_{test}}(f)=\frac{1}{m}\underset{i=1}{\overset{m}{\sum}}Z_i LStest(f)=m1i=1∑mZi
引入霍夫丁不等式，它表面对于 m m m个独立随机变量 Z 1 , . . . , Z m Z_1, ..., Z_m Z1,...,Zm，每个 Z i ∈ [ a , b ] Z_i \in [a,b] Zi∈[a,b]，有：
Pr [ ∣ 1 m ∑ i = 1 m Z i − E [ Z i ] ∣ ≥ ϵ ] ≤ 2 exp ( − 2 m ϵ 2 ( b − a ) 2 ) \Pr\left[ \left| \frac{1}{m} \sum_{i=1}^m Z_i - \mathbb{E}[Z_i] \right| \geq \epsilon \right] \leq 2 \exp\left( -\frac{2m\epsilon^2}{(b - a)^2} \right) Pr[ m1∑i=1mZi−E[Zi] ≥ϵ]≤2exp(−(b−a)22mϵ2)
代入后则有：
Pr [ ∣ L S test ( f ) − L D ( f ) ∣ ≥ ϵ ] ≤ 2 exp ( − 2 m ϵ 2 ( b − a ) 2 ) \Pr\left[ \left| L_{S_{\text{test}}}(f) - L_{\mathcal{D}}(f) \right| \geq \epsilon \right] \leq 2 \exp\left( -\frac{2m\epsilon^2}{(b - a)^2} \right) Pr[∣LStest(f)−LD(f)∣≥ϵ]≤2exp(−(b−a)22mϵ2)
确定一个特定的 ϵ \epsilon ϵ，令：
2 e x p ( − 2 m ϵ 2 ( b − a ) 2 ) = δ 2 2exp(-\frac{2m\epsilon^2}{(b-a)^2})=\frac{\delta}{2} 2exp(−(b−a)22mϵ2)=2δ
ϵ = ( b − a ) 2 l n ( 2 / δ ) 2 m = ( b − a ) 2 l n ( 2 / δ ) 2 ∣ S t e s t ∣ \epsilon=\sqrt{\frac{(b-a)^2ln(2/\delta)}{2m}}=\sqrt{\frac{(b-a)^2ln(2/\delta)}{2|S_{test}|}} ϵ=2m(b−a)2ln(2/δ) =2∣Stest∣(b−a)2ln(2/δ)
最终得到：
Pr [ ∣ L D ( f ) − L S test ( f ) ∣ ≥ ( b − a ) 2 ln ( 2 / δ ) 2 ∣ S test ∣ ] ≤ δ \Pr\left[ \left| L_{\mathcal{D}}(f) - L_{S_{\text{test}}}(f) \right| \geq \sqrt{\frac{(b - a)^2 \ln(2/\delta)}{2 |S_{\text{test}}|}} \right] \leq \delta Pr[∣LD(f)−LStest(f)∣≥2∣Stest∣(b−a)2ln(2/δ) ]≤δ