33水库抽样 - 从未知大小的流中等概率采样

水库抽样 - 从未知大小的流中等概率采样

33蓄水池抽样：无尽流中的公平选择

5W1H 发明者故事

Who（何人）- 发明者是谁？

核心发明者 ：Alan G. Vitter（1955-）
思想来源 ：Donald E. Knuth（1938-）在《计算机程序设计艺术》中最早系统描述了基础版本（Algorithm R）
背景：

Vitter：美国计算机科学家，Purdue 大学教授，专注于算法、数据压缩和外部存储算法，1985年在《ACM Transactions on Mathematical Software》上发表了高效版本
Knuth：TAOCP 第二卷 3.4.2节包含了 Algorithm R，是水库抽样在教科书中的权威表述
两人共同推动了流式算法（Streaming Algorithm）这一领域的早期发展

当时的处境：大型数据库和磁带存储的时代，数据集往往超出内存，或者数据以流的形式到来（如实时传感器数据），无法事先知道总量。

When（何时）- 什么时候发明的？

时间：

Knuth Algorithm R（基础版本）：1969 年，TAOCP 第二卷初版
Vitter Algorithm Z（高效跳跃版本）：1985 年
现代变体（加权水库抽样等）：1990 年代至今

时代背景：

1960-1980 年代，磁带是大数据的主要存储介质，数据只能顺序读取，不能随机访问
数据库管理系统刚刚兴起，采样是统计查询优化的核心技术
互联网时代到来后，流数据（网络日志、传感器流）使得水库抽样更加重要

Where（何地）- 在哪里发明的？

地点：

Knuth 版本：斯坦福大学
Vitter 版本：美国普渡大学（Purdue University），布朗大学
环境：
学术研究环境，以算法理论分析和证明为核心
大型计算机中心，磁带库成排，需要在有限内存下处理海量数据

What（何事）- 发明了什么？

算法：水库抽样（Reservoir Sampling，Algorithm R）
核心概念 ：维护一个大小为 k 的"水库"（reservoir），每次来一个新元素，以适当的概率决定是否用它替换水库中的某个元素，保证任意时刻水库中的 k 个元素是已见过的所有元素的等概率样本。就像用一个桶接随机水流，保证桶里的水始终代表整条河。
关键突破：

无需知道总量 N：算法一遍扫描，不需要提前知道数据流有多少元素
严格等概率：可以数学证明每个元素被选中的概率恰好等于 k/N
O(N) 时间，O(k) 空间：极其高效
适用流式场景：数据来一个处理一个，不需要存储全部数据

Why（何因）- 为什么发明？

要解决的问题：

数据量未知：从磁带、网络流等来源读取数据时，往往不知道总行数
内存限制：数据集可能有数亿条记录，但内存只能放 k 个样本
单遍扫描：磁带只能顺序读取，不能回头，要求算法一遍完成
统计无偏性：抽取的样本必须真正代表总体，不能有任何位置偏差

当时的挑战：

如何证明算法的无偏性是核心数学挑战
实际工程中"一遍"扫描的约束极为严格
加权抽样（不同元素重要性不同）的泛化更加复杂

动机：统计学家需要从无法全部载入内存的大型数据集中取得代表性样本，用于估计总体统计量。

How（何果）- 如何实现？有什么影响？

Algorithm R 实现思路：

复制代码

1. 将前 k 个元素放入水库
2. 对第 i 个元素（i > k）：
   - 以概率 k/i 决定是否选它
   - 若选，随机替换水库中的某一个元素

正确性证明：

复制代码

归纳：当处理完第 i 个元素后，每个已见过的元素被选中的概率均为 k/i
基础：i=k 时，k 个元素全部在水库中，概率各为 k/k = 1 ✓
归纳步骤：第 i+1 个元素
  - 新元素被选中的概率：k/(i+1) ✓
  - 旧元素被保留的概率：(k/i) × [1 - (k/(i+1)) × (1/k)]
    = (k/i) × (i/(i+1)) = k/(i+1) ✓

历史影响：

成为大数据时代流式处理的基础算法
Apache Spark、Hadoop 等大数据框架中的采样操作基于此思想
数据库查询优化器用水库抽样生成统计信息
机器学习中的在线学习和流式训练数据处理
网络流量分析、A/B 测试等互联网应用广泛使用

名言：Vitter 在论文中写道："Algorithm R 的优雅在于它用如此简单的方式解决了一个看似需要两遍扫描才能解决的问题。"

自然语言需求定义

需求名称：实现水库抽样 Algorithm R，从数据流中等概率抽取 k 个样本

功能需求（用精确的中文描述）

初始化水库：将数据流前 k 个元素放入水库
- 输入：数据流（数组模拟）、水库数组、k 值
- 操作：复制前 k 个元素
- 输出：无
流式采样：对第 i（i > k）个元素，以 k/i 的概率替换水库中的随机位置
- 输入：当前元素、当前下标 i、水库数组、k 值、随机数生成器
- 操作：以 k/i 概率决定是否替换，若替换则随机选一个位置覆盖
- 输出：无（原地更新水库）
一次完整采样：从完整数组流中采样 k 个元素
- 输入：数据数组、数组长度 N、采样数 k、随机种子
- 操作：初始化水库 + 流式处理剩余元素
- 输出：采样结果数组
均匀性验证：重复采样，统计每个元素被选中的频率
- 输入：数组长度 N、采样数 k、重复次数 trials
- 输出：频率数组（用于检验每个元素被选中频率是否接近 k/N）

约束条件

k <= N（采样数不超过总量）
N 可以是未知的（算法一遍扫描）
采样结果恰好 k 个，不多不少
每个元素被选中的概率必须等于 k/N

验收标准（必须可验证）

编号	测试场景（自然语言描述）	预期结果	验证方式
1	从 $0...9$ （N=10）中采样 k=3	结果恰好3个，均在 $0,9$ 范围内	检查结果数量和值范围
2	k=N 时采样结果包含所有元素	结果与原数组排序后相同	排序比较
3	k=1 时从1000个元素中采样	每个元素被选中概率≈1/1000	10000次试验，频率偏差<20%
4	均匀性：从 $0...9$ 采样 k=5，50000次	每个元素被选中次数约 25000（±5%）	卡方检验
5	N=k=1（边界情况）	采样结果就是唯一元素	直接验证

AI 生成提示

复制代码

基于以上需求和验收标准，用标准C语言实现水库抽样Algorithm R。

要求：
1. 使用标准C99
2. 使用可指定种子的LCG随机数生成器
3. reservoir_sample(stream, N, k, result, rng) - 主采样函数
4. 包含完整的均匀性检验
5. 在main中实现全部5个验收标准
6. 测试通过输出 "✓ 测试X通过"，失败输出 "✗ 测试X失败"

核心函数：
- reservoir_sample(stream, N, k, result, rng) - Algorithm R主函数
- run_uniformity_test(N, k, trials, seed) - 均匀性统计

C语言实现文件

对应文件 : reservoir_sampling.c

编译运行:

bash 复制代码

gcc -std=c99 -Wall -o reservoir_test reservoir_sampling.c -lm
./reservoir_test

核心函数:

reservoir_sample(stream, N, k, result, rng) - Algorithm R 主函数
run_uniformity_test(N, k, trials, seed) - 均匀性统计检验