概率论-独立同分布

独立同分布(i.i.d.,Independent and Identically Distributed)

随机变量序列中每个变量相互独立服从同一概率分布

维度 说明
独立 每个样本的取值不影响其他样本。例如,抛硬币10次,第5次结果不影响第6次。
同分布 所有样本来自同一个概率分布。例如,抛同一枚公平硬币10次,每次正面概率均为0.5。

例子

  1. 抛硬币

    连续抛掷同一枚公平硬币10次,每次结果独立且正面概率恒为0.5 → 这是i.i.d.。

  2. 非i.i.d.的反例

    • 非独立:第一次抛硬币的结果决定第二次是否抛硬币(如"正面则停止")。
    • 非同分布:前5次用公平硬币,后5次改用正面概率0.8的偏硬币。

扩展

为什么机器学习需要i.i.d.?

  • 训练集与测试集需同分布:若训练数据来自"夏季西瓜",测试数据却是"冬季西瓜",模型会失效(分布偏移)。
  • 理论保证:泛化误差界(如Hoeffding不等式)的推导依赖i.i.d.假设。

真实数据常违反i.i.d.(如时间序列、用户行为随时间变化),此时需领域自适应重加权等技术修正。

相关推荐
simon_skywalker3 天前
概率论基础教程第六章 随机变量的联合分布(二)
概率论
simon_skywalker3 天前
概率论基础教程第5章 连续型随机变量(三)
概率论
西西弗Sisyphus4 天前
知识蒸馏 Knowledge Distillation 概率链式法则(Probability Chain Rule)
概率论·概率链式法则
西猫雷婶4 天前
神经网络|(十二)概率论基础知识-先验/后验/似然概率基本概念
人工智能·神经网络·机器学习·回归·概率论
海绵宝宝汉堡包4 天前
数据分析专栏记录之 -基础数学与统计知识 2 概率论基础与python
python·数据分析·概率论
simon_skywalker4 天前
概率论基础教程第六章 随机变量的联合分布(一)
概率论
听风.8256 天前
机器学习6
人工智能·机器学习·概率论
simon_skywalker7 天前
概率论基础教程第5章 连续型随机变量(二)
概率论
C++、Java和Python的菜鸟11 天前
第六章 统计初步
算法·机器学习·概率论
神齐的小马15 天前
机器学习 [白板推导](十)[马尔可夫链蒙特卡洛法]
人工智能·机器学习·概率论