机器学习的数学基础:假设检验

假设检验

默认以错误率为性能度量,错误率由下式给出:

E ( f , D ) = ∫ x ∼ D I I ( f ( x ) ≠ y ) p ( x ) d x E(f,\mathcal{D})=\int_{\boldsymbol{x}\sim \mathcal{D}}\mathbb{II}(f(\boldsymbol{x})\ne y )p(\boldsymbol{x})\text{d}\boldsymbol{x} E(f,D)=∫x∼DII(f(x)=y)p(x)dx

假设检验中的"假设"是对学习泛化错误率分布的某种判断或者猜想,例如:

ε = ε 0 \varepsilon=\varepsilon_0 ε=ε0

其中,我们 ε 0 \varepsilon_0 ε0为测试错误率是已知的。

对单个学习器泛化能力的假设检验

对于一个样本上的留出法得到的错误率 ε 0 \varepsilon_0 ε0,这意味着 m m m个测试样本中,恰好有 m × ε 0 m\times \varepsilon_0 m×ε0个错误分类。假设测试样本是从总体中独立同分布采样获得,那么泛化错误率为 ε \varepsilon ε的学习器,将其中 m × ε 0 m\times \varepsilon_0 m×ε0个分类错误,其余分类正确的概率为:

单次留出法
P ( ε ; ε 0 ) = ( m m × ε 0 ) ε ε 0 × m ( 1 − ε ) m − ε 0 × m P(\varepsilon;\varepsilon_0)=\binom{m}{m\times \varepsilon_0}\varepsilon^{\varepsilon_0\times m}(1-\varepsilon)^{m-\varepsilon_0 \times m} P(ε;ε0)=(m×ε0m)εε0×m(1−ε)m−ε0×m

所以由极值条件得到:

∂ P ∂ ε = 0 \frac{\partial P}{\partial \varepsilon}=0 ∂ε∂P=0

然后选取一个显著性水平 α \alpha α,对于 ε ∼ B ( m , ε 0 ) \varepsilon \sim B(m,\varepsilon_0) ε∼B(m,ε0),我们假设 ε ≤ ε ′ \varepsilon\leq\varepsilon^{\prime} ε≤ε′,满足:

\\overline{\\varepsilon}=\\min \\varepsilon \\mathbf{s.t.}: \\sum_{i=\\varepsilon\^{\\prime}\\times m+1}^{m}\\binom{m}{i}\\varepsilon^{i}(1-\\varepsilon)\^{m-i}

若此时 ε ≤ ε ‾ \varepsilon \leq \overline{\varepsilon} ε≤ε则有 1 − α 1-\alpha 1−α的概率认为,学习器的泛化错误率不大于 ε ′ \varepsilon^{\prime} ε′。

多次留出法或交叉验证法

类似的,假定我们得到了 k k k个测试错误率, ε ^ 1 \hat{\varepsilon}_1 ε^1, ε ^ 2 \hat{\varepsilon}_2 ε^2, ⋯ \cdots ⋯, ε ^ k \hat{\varepsilon}_k ε^k,则平均测试错误率 μ \mu μ和方差 σ 2 \sigma^2 σ2分别为:

μ = 1 k ∑ i = 1 k ε ^ i \mu=\frac{1}{k}\sum_{i=1}^{k}\hat{\varepsilon}_i μ=k1i=1∑kε^i

σ 2 = 1 k − 1 ∑ i = 1 k ( ε ^ i − μ ) 2 \sigma^2=\frac{1}{k-1}\sum_{i=1}^{k}(\hat{\varepsilon}_i-\mu)^2 σ2=k−11i=1∑k(ε^i−μ)2

其中有假设:

每个测试错误率 ε ^ 1 , ε ^ 2 , ... , ε ^ k \hat{\varepsilon}_1, \hat{\varepsilon}_2, \ldots, \hat{\varepsilon}_k ε^1,ε^2,...,ε^k 必须是独立同分布(independent and identically distributed, i.i.d.)的随机变量。且样本量足够大或者它们服从正态分布。

则:

τ t = ( μ − ε 0 ) σ k ∼ t ( k − 1 ) \tau_t=\frac{(\mu-\varepsilon_0)}{\frac{\sigma}{\sqrt{k}}}\sim t(k-1) τt=k σ(μ−ε0)∼t(k−1)

对两个学习器泛化能力的假设检验

对于两个学习器 A A A和 B B B,使用 k k k折交叉验证法得到: ε 1 A \varepsilon_{1}^A ε1A, ε 2 A \varepsilon_{2}^A ε2A, ... \dots ... ε k A \varepsilon_{k}^A εkA和 ε 1 B \varepsilon_{1}^B ε1B, ε 2 B \varepsilon_{2}^B ε2B, ... \dots ... ε k B \varepsilon_{k}^B εkB

我们是对

ε i A = ε i B \varepsilon_{i}^A=\varepsilon_{i}^B εiA=εiB

进行假设,取独立变量:

Δ i = ε i A − ε i B \Delta_i=\varepsilon_{i}^A-\varepsilon_{i}^B Δi=εiA−εiB

对样本均值进行标准化得到:

τ t = μ σ k ∼ t ( k − 1 ) \tau_t=\frac{\mu}{\frac{\sigma}{\sqrt{k}}}\sim t(k-1) τt=k σμ∼t(k−1)

5×2交叉验证

其统计量为:
τ t = μ 0.2 ∑ i = 1 5 σ i 2 ∼ t ( 4 ) \tau_t=\frac{\mu}{\sqrt{0.2\sum\limits_{i=1}^{5}}\sigma^2_i}\sim t(4) τt=0.2i=1∑5 σi2μ∼t(4)

McNemar检验

对于二分类问题,我们通过列联表,基于两学习器的性能相同的假设,构造统计量:

方法B 阳性 方法B 阴性
方法A 阳性 a a a b b b
方法A 阴性 c c c d d d

τ χ 2 = ( ∣ b − c ∣ − 1 ) 2 b + c ∼ χ 2 ( 1 ) \tau_{\chi^2}=\frac{(|b-c|-1)^2}{b+c} \sim \chi^2(1) τχ2=b+c(∣b−c∣−1)2∼χ2(1)

对多于两个学习器泛化能力的假设检验

对多个算法,要进行Friedman检验Nemenyi检验

相关推荐
青春不败 177-3266-05202 小时前
MATLAB近红外光谱分析技术及实践技术应用
随机森林·机器学习·支持向量机·matlab·卷积神经网络·遗传算法·近红外光谱
NeoFii7 小时前
Day 22: 复习
机器学习
巫婆理发2229 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
Blossom.11810 小时前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘
Coovally AI模型快速验证12 小时前
数据集分享 | 智慧农业实战数据集精选
人工智能·算法·目标检测·机器学习·计算机视觉·目标跟踪·无人机
GG向前冲14 小时前
机器学习对中特估股票关键特征选取的应用与研究
人工智能·机器学习·投资组合
计算机sci论文精选15 小时前
CVPR 2024 3D传感框架实现无监督场景理解新纪元
人工智能·机器学习·计算机视觉·3d·cvpr·传感技术
zzywxc78719 小时前
详细介绍AI在金融、医疗、教育、制造四大领域的落地案例,每个案例均包含实际应用场景、技术实现方案、可视化图表和核心代码示例
人工智能·深度学习·机器学习
Monkey PilotX19 小时前
VLA:自动驾驶的“新大脑”?
人工智能·机器学习·计算机视觉·自动驾驶
超龄超能程序猿20 小时前
图片查重从设计到实现(4)图片向量化存储-Milvus 单机版部署
人工智能·yolo·机器学习