概率论-独立同分布

独立同分布(i.i.d.,Independent and Identically Distributed)

随机变量序列中每个变量相互独立服从同一概率分布

维度 说明
独立 每个样本的取值不影响其他样本。例如,抛硬币10次,第5次结果不影响第6次。
同分布 所有样本来自同一个概率分布。例如,抛同一枚公平硬币10次,每次正面概率均为0.5。

例子

  1. 抛硬币

    连续抛掷同一枚公平硬币10次,每次结果独立且正面概率恒为0.5 → 这是i.i.d.。

  2. 非i.i.d.的反例

    • 非独立:第一次抛硬币的结果决定第二次是否抛硬币(如"正面则停止")。
    • 非同分布:前5次用公平硬币,后5次改用正面概率0.8的偏硬币。

扩展

为什么机器学习需要i.i.d.?

  • 训练集与测试集需同分布:若训练数据来自"夏季西瓜",测试数据却是"冬季西瓜",模型会失效(分布偏移)。
  • 理论保证:泛化误差界(如Hoeffding不等式)的推导依赖i.i.d.假设。

真实数据常违反i.i.d.(如时间序列、用户行为随时间变化),此时需领域自适应重加权等技术修正。

相关推荐
我要学习别拦我~1 天前
挑战概率直觉:蒙提霍尔问题的解密与应用
经验分享·概率论
一条星星鱼1 天前
从0到1:如何用统计学“看透”不同睡眠PSG数据集的差异(域偏差分析实战)
人工智能·深度学习·算法·概率论·归一化·睡眠psg
无风听海1 天前
神经网络之从自由度角度理解方差的无偏估计
神经网络·机器学习·概率论
CLubiy2 天前
【研究生随笔】PyTorch中的概率论
人工智能·pytorch·深度学习·概率论
龙俊杰的读书笔记2 天前
《小白学随机过程》第一章:随机过程——定义和形式 (附录1 探究随机变量)
人工智能·机器学习·概率论·随机过程和rl
zyq~3 天前
【课堂笔记】概率论-1
笔记·概率论
十二imin10 天前
霍夫丁不等式详解
算法·机器学习·概率论
牟同學12 天前
从赌场到AI:期望值如何用C++改变世界?
c++·人工智能·概率论
likunyuan083017 天前
概率统计中的数学语言与术语2
概率论
MoRanzhi120321 天前
0. NumPy 系列教程:科学计算与数据分析实战
人工智能·python·机器学习·数据挖掘·数据分析·numpy·概率论