| 论文 | 贡献 | 与 InfoAtlas 关系 |
|---|---|---|
| Kozachenko & Leonenko (1987) | kNN 熵估计的数学基础 | KSG 的上游 |
| KSG（Kraskov, Stögbauer, Grassberger, 2004, Phys. Rev. E） | k-近邻 MI 估计器------最经典、最常用的非参数 MI 估计 | InfoAtlas 结果表里 KSG 就是它 |
| KDE（Moon, Rajagopalan, Lall, 1995, Phys. Rev. E） | 核密度估计 MI | 结果表里 KDE 基线 |
B. 核方法独立性检验（MI 之外的另一条"传统"主线）
| 论文 | 贡献 | 备注 |
|---|---|---|
| HSIC（Gretton, Bousquet, Smola, Schölkopf, 2005, JMLR） | 希尔伯特-施密特独立性准则 ------再生核希尔伯特空间里的依赖度量 + 置换检验，成为独立性检验的标准工具 | 不是 MI，但同族；我们之前讨论 CDFM 残差检验时用的 HSIC 就是它 |
| KCIT（Zhang, Peters, Janzing, Schölkopf, 2011, UAI） | 核条件独立性检验 ，把 HSIC 推广到 X ⊥ ⊥ Y ∣ Z X\perp\!\!\!\perp Y\mid Z X⊥⊥Y∣Z | 因果发现里 CI 检验的经典 |
| RCIT / RCoT （Strobl et al., 2019, J. Causal Inference） | 近似/随机化的快速核 CI 检验 | KCIT 的加速版 |
C. 模型-X / 条件随机化检验（检验框架的另一极）
| 论文 | 贡献 |
|---|---|
| CRT / Model-X （Candès, Fan, Janson, Lv, 2018, JRSS-B，arXiv 1610.02351） | 条件随机化检验：不估计密度，而是从"零假设下"重采样做置换/随机化检验------独立性检验的另一个主流范式 |
D. 神经 MI 估计器（InfoAtlas 的直接前辈，它的"痛点"来源）
| 论文 | 贡献 | 与 InfoAtlas 关系 |
|---|---|---|
| MINE （Belghazi et al., 2018, ICML，arXiv 1801.04062） | DV 下界 + 逐数据集训练 critic | InfoAtlas 结果表里 MINE；它的"逐数据集优化"正是 InfoAtlas 要消灭的瓶颈 |
| InfoNCE （van den Oord et al., 2018，arXiv 1807.03748） | 对比学习噪声对比下界 | 结果表里 InfoNCE |
| KNIFE / MINDE | 更近期的高精度神经 MI 估计器（高斯混合核 / 优化改进） | 结果表里 KNIFE、MINDE 两个神经基线 |
E. 理论：变分界与测量局限（理解"为什么 MI 难估"）
| 论文 | 贡献 |
|---|---|
| Poole et al., 2019, ICML （arXiv 1907.13625） | 系统比较各类 MI 变分界，指出下界会饱和低估------"估计 MI"与"优化 MI"是两回事 |
| McAllester & Stratos, 2020, AISTATS （arXiv 1811.04062） | 证明精确测量 MI 在样本复杂度上的根本困难 |
建议阅读顺序
- KSG (2004) → 搞懂"从样本估计 MI"这个问题的标准答案；
- HSIC (2005) → 搞懂"独立性检验"的标准框架（度量 + 置换检验 + 阈值/p 值）；
- MINE (2018) → 搞懂"神经估计 + DV 下界 + 逐数据集训练"及其慢的根源；
- Poole et al. (2019) → 搞懂"下界估计器的局限"；
- 然后回到 InfoAtlas：它 = 用"预训练 + 一次前向"替代 MINE 的逐数据集训练，输出仍是 KSG/HSIC 想给的那个"依赖数值"。
这五篇吃透，InfoAtlas 的"创新点 vs 传统做法"对比就一目了然了。需要我逐篇做精读导读（每篇的核心公式 + 与 InfoAtlas 的逐点对照）吗？