模式识别备考所需学习内容

根据复习课的笔记配合PRML期末复习.pptx，掌握每个考点就好，不必再单独整理所需学习内容。

文章目录

模式识别备考所需学习内容
- PRML期末复习.pptx
- - 复习概率论，包括几个概率公式以及常见分布
  - 期望损失的计算
  - - [1. 先明确条件风险（给定输入 x x x 时的损失期望）](#1. 先明确条件风险（给定输入 x x x 时的损失期望）)
    - [2. 期望损失（总体风险）的表达式](#2. 期望损失（总体风险）的表达式)
    - [3. 特殊情况：0-1损失下的期望损失（错误率）](#3. 特殊情况：0-1损失下的期望损失（错误率）)
    - 4.例题：
- 复习资料.docx
- 2023年试卷
- 2022年试卷

PRML期末复习.pptx

复习概率论，包括几个概率公式以及常见分布

期望损失的计算

期望损失（也叫总体风险）是机器学习中衡量决策函数平均损失的指标，它的计算可以拆解为"条件风险"再对输入分布积分，具体表达式推导如下：

1. 先明确条件风险（给定输入 x x x 时的损失期望）

对于输入 x x x ，如果我们做出决策 y ^ ( x ) = c \hat{y}(x) = c y^(x)=c （将 x x x 判为类别 c c c ），那么条件风险 是把真实类别 y y y 误判为 c c c 的损失 L c y L_{cy} Lcy 对后验概率 P ( Y = y ∣ x ) P(Y = y \mid x) P(Y=y∣x) 的加权和：

R ( y ^ ( x ) = c ∣ x ) = ∑ y = 1 C L c y P ( Y = y ∣ x ) R(\hat{y}(x) = c \mid x) = \sum_{y=1}^C L_{cy} P(Y = y \mid x) R(y^(x)=c∣x)=y=1∑CLcyP(Y=y∣x)

L c y L_{cy} Lcy ：损失函数，表示"真实类别为 y y y 却被判定为 c c c "的代价。
P ( Y = y ∣ x ) P(Y = y \mid x) P(Y=y∣x) ：输入 x x x 属于真实类别 y y y 的后验概率。

2. 期望损失（总体风险）的表达式

期望损失是条件风险 对输入 x x x 的概率分布 p ( x ) p(x) p(x) 求期望（积分），即对所有可能的 x x x 计算平均损失：
R ( y ^ ) = ∫ R ( y ^ ( x ) ∣ x ) , p ( x ) d x R(\hat{y}) = \int R(\hat{y}(x) \mid x) , p(x) dx R(y^)=∫R(y^(x)∣x),p(x)dx

将条件风险代入后，完整展开为：
R ( y ^ ) = ∫ ( ∑ y = 1 C L y ^ ( x ) y , P ( Y = y ∣ x ) ) p ( x ) d x R(\hat{y}) = \int \left( \sum_{y=1}^C L_{\hat{y}(x) y} , P(Y = y \mid x) \right) p(x) dx R(y^)=∫(y=1∑CLy^(x)y,P(Y=y∣x))p(x)dx

3. 特殊情况：0-1损失下的期望损失（错误率）

当损失函数为0-1损失 （误判损失为1，正确分类损失为0）时， L c y = 1 L_{cy} = 1 Lcy=1 （若 c ≠ y c \neq y c=y ）、 L c y = 0 L_{cy} = 0 Lcy=0 （若 c = y c = y c=y ），此时期望损失退化为错误率 ：
P ( error ) = ∫ ( 1 − P ( Y = y ^ ( x ) ∣ x ) ) p ( x ) d x P(\text{error}) = \int \left( 1 - P(Y = \hat{y}(x) \mid x) \right) p(x) dx P(error)=∫(1−P(Y=y^(x)∣x))p(x)dx

模式识别备考所需学习内容