分布偏移（Distribution Shift）是机器学习中一个关键问题，指模型训练时使用的数据分布与实际应用中的数据分布不一致，导致模型性能下降。以下是其核心要点：
1. 基本概念
-
数据分布：描述数据特征（X）和标签（Y）的联合概率分布 P(X,Y)。
-
分布偏移：训练数据（源领域）和测试数据（目标领域）的分布 Ptrain(X,Y)≠Ptest(X,Y)。
2. 主要类型
-
协变量偏移（Covariate Shift）
输入变量 X 的分布变化（Ptrain(X)≠Ptest(X)），但条件概率 P(Y∣X)不变。
例子：人脸识别模型在年轻人数据上训练，但应用于全年龄段用户。 -
标签偏移（Label Shift）
标签 Y 的分布变化（Ptrain(Y)≠Ptest(Y)），但 P(X∣Y) 不变。
例子：疾病诊断模型训练时某病发病率低，实际应用时发病率上升。 -
概念偏移（Concept Shift）
输入与输出的关系变化，即 P(Y∣X)改变。
例子：垃圾邮件分类中，关键词与"垃圾"标签的关联随时间变化。 -
其他类型
如数据非平稳性（时间序列数据分布逐渐变化）或采样偏差（训练数据未覆盖真实场景）。
3. 影响与挑战
-
模型在训练集表现良好，但部署后性能显著下降。
-
常见于动态环境（如金融、医疗、自动驾驶），需持续适应新数据。
4. 解决方法
-
领域适应（Domain Adaptation）：调整模型以对齐源领域和目标领域分布。
-
重要性加权（Importance Weighting）：对训练样本加权，使其更接近测试分布（适用于协变量偏移）。
-
在线学习（Online Learning）：持续用新数据更新模型。
-
数据增强与合成：生成多样化数据模拟潜在分布变化。
-
鲁棒模型设计：使用正则化、集成学习等方法提高泛化能力。
-
监控与检测：通过统计测试（如KL散度）或性能监控识别偏移。
5. 实例应用
-
自动驾驶：晴天训练的模型在雨天失效（协变量+概念偏移）。
-
金融风控：经济环境变化导致用户行为分布改变（需动态调整模型）。