假设检验
默认以错误率为性能度量，错误率由下式给出：
E ( f , D ) = ∫ x ∼ D I I ( f ( x ) ≠ y ) p ( x ) d x E(f,\mathcal{D})=\int_{\boldsymbol{x}\sim \mathcal{D}}\mathbb{II}(f(\boldsymbol{x})\ne y )p(\boldsymbol{x})\text{d}\boldsymbol{x} E(f,D)=∫x∼DII(f(x)=y)p(x)dx
假设检验中的"假设"是对学习泛化错误率分布的某种判断或者猜想，例如:
ε = ε 0 \varepsilon=\varepsilon_0 ε=ε0
其中，我们 ε 0 \varepsilon_0 ε0为测试错误率是已知的。
对单个学习器泛化能力的假设检验
对于一个样本上的留出法得到的错误率 ε 0 \varepsilon_0 ε0,这意味着 m m m个测试样本中，恰好有 m × ε 0 m\times \varepsilon_0 m×ε0个错误分类。假设测试样本是从总体中独立同分布采样获得，那么泛化错误率为 ε \varepsilon ε的学习器，将其中 m × ε 0 m\times \varepsilon_0 m×ε0个分类错误，其余分类正确的概率为:
单次留出法
P ( ε ; ε 0 ) = ( m m × ε 0 ) ε ε 0 × m ( 1 − ε ) m − ε 0 × m P(\varepsilon;\varepsilon_0)=\binom{m}{m\times \varepsilon_0}\varepsilon^{\varepsilon_0\times m}(1-\varepsilon)^{m-\varepsilon_0 \times m} P(ε;ε0)=(m×ε0m)εε0×m(1−ε)m−ε0×m
所以由极值条件得到：
∂ P ∂ ε = 0 \frac{\partial P}{\partial \varepsilon}=0 ∂ε∂P=0
然后选取一个显著性水平 α \alpha α，对于 ε ∼ B ( m , ε 0 ) \varepsilon \sim B(m,\varepsilon_0) ε∼B(m,ε0),我们假设 ε ≤ ε ′ \varepsilon\leq\varepsilon^{\prime} ε≤ε′,满足：
\\overline{\\varepsilon}=\\min \\varepsilon \\mathbf{s.t.}: \\sum_{i=\\varepsilon\^{\\prime}\\times m+1}^{m}\\binom{m}{i}\\varepsilon^{i}(1-\\varepsilon)\^{m-i}
若此时 ε ≤ ε ‾ \varepsilon \leq \overline{\varepsilon} ε≤ε则有 1 − α 1-\alpha 1−α的概率认为，学习器的泛化错误率不大于 ε ′ \varepsilon^{\prime} ε′。
多次留出法或交叉验证法
类似的，假定我们得到了 k k k个测试错误率， ε ^ 1 \hat{\varepsilon}_1 ε^1, ε ^ 2 \hat{\varepsilon}_2 ε^2, ⋯ \cdots ⋯, ε ^ k \hat{\varepsilon}_k ε^k,则平均测试错误率 μ \mu μ和方差 σ 2 \sigma^2 σ2分别为：
μ = 1 k ∑ i = 1 k ε ^ i \mu=\frac{1}{k}\sum_{i=1}^{k}\hat{\varepsilon}_i μ=k1i=1∑kε^i
σ 2 = 1 k − 1 ∑ i = 1 k ( ε ^ i − μ ) 2 \sigma^2=\frac{1}{k-1}\sum_{i=1}^{k}(\hat{\varepsilon}_i-\mu)^2 σ2=k−11i=1∑k(ε^i−μ)2
其中有假设：
每个测试错误率 ε ^ 1 , ε ^ 2 , ... , ε ^ k \hat{\varepsilon}_1, \hat{\varepsilon}_2, \ldots, \hat{\varepsilon}_k ε^1,ε^2,...,ε^k 必须是独立同分布（independent and identically distributed, i.i.d.）的随机变量。且样本量足够大或者它们服从正态分布。
则：
τ t = ( μ − ε 0 ) σ k ∼ t ( k − 1 ) \tau_t=\frac{(\mu-\varepsilon_0)}{\frac{\sigma}{\sqrt{k}}}\sim t(k-1) τt=k σ(μ−ε0)∼t(k−1)
对两个学习器泛化能力的假设检验
对于两个学习器 A A A和 B B B，使用 k k k折交叉验证法得到： ε 1 A \varepsilon_{1}^A ε1A, ε 2 A \varepsilon_{2}^A ε2A, ... \dots ... ε k A \varepsilon_{k}^A εkA和 ε 1 B \varepsilon_{1}^B ε1B, ε 2 B \varepsilon_{2}^B ε2B, ... \dots ... ε k B \varepsilon_{k}^B εkB
我们是对
ε i A = ε i B \varepsilon_{i}^A=\varepsilon_{i}^B εiA=εiB
进行假设，取独立变量：
Δ i = ε i A − ε i B \Delta_i=\varepsilon_{i}^A-\varepsilon_{i}^B Δi=εiA−εiB
对样本均值进行标准化得到：
τ t = μ σ k ∼ t ( k − 1 ) \tau_t=\frac{\mu}{\frac{\sigma}{\sqrt{k}}}\sim t(k-1) τt=k σμ∼t(k−1)
5×2交叉验证
其统计量为：
τ t = μ 0.2 ∑ i = 1 5 σ i 2 ∼ t ( 4 ) \tau_t=\frac{\mu}{\sqrt{0.2\sum\limits_{i=1}^{5}}\sigma^2_i}\sim t(4) τt=0.2i=1∑5 σi2μ∼t(4)
McNemar检验
对于二分类问题，我们通过列联表，基于两学习器的性能相同的假设，构造统计量：
| 方法B 阳性 | 方法B 阴性 | |
|---|---|---|
| 方法A 阳性 | a a a | b b b |
| 方法A 阴性 | c c c | d d d |
τ χ 2 = ( ∣ b − c ∣ − 1 ) 2 b + c ∼ χ 2 ( 1 ) \tau_{\chi^2}=\frac{(|b-c|-1)^2}{b+c} \sim \chi^2(1) τχ2=b+c(∣b−c∣−1)2∼χ2(1)
对多于两个学习器泛化能力的假设检验
对多个算法，要进行Friedman检验 和Nemenyi检验。