从平衡表征到最小充分因果表征：端到端神经网络因果效应估计
主线用倾向得分 e(X)e(X)e(X) 贯穿始终，方法链为 直接拟合 →\rightarrow→ TARNet →\rightarrow→ DragonNet →\rightarrow→ CEIB。
1. 问题设定与前提
记二元处理 T∈{0,1}T \in \{0,1\}T∈{0,1}、协变量 XXX、结果 YYY。全篇在以下两条标准假设下讨论：
- 充分调整（ignorability / 可忽略性） ：Y(0),Y(1)⊥T∣XY(0), Y(1) \perp T \mid XY(0),Y(1)⊥T∣X，即所有混杂因子都已在 XXX 中；
- 重叠性（overlap / positivity） ：0<e(x)=P(T=1∣x)<10 < e(x) = P(T=1 \mid x) < 10<e(x)=P(T=1∣x)<1，即每个 xxx 上两种处理都可能出现。
定义潜在结果的条件均值（即响应面）
μt(x)=EY∣T=t,x=EY(t)∣x, \mu_t(x) = \mathbb{E}Y \\mid T=t, x = \mathbb{E}Y(t) \\mid x, μt(x)=EY∣T=t,x=EY(t)∣x,
目标是个体处理效应（CATE）与平均处理效应（ATE）：
τ(x)=μ1(x)−μ0(x),τ=EXμ1(X)−μ0(X). \tau(x) = \mu_1(x) - \mu_0(x), \qquad \tau = \mathbb{E}_X\\mu_1(X) - \\mu_0(X). τ(x)=μ1(x)−μ0(x),τ=EXμ1(X)−μ0(X).
对应的因果图（UUU 为混杂因子）：
U
/ \
v v
X -----> T -----> Y
\ /
\----->-------/2. 直接拟合 EY∣X,T\mathbb{E}Y \\mid X, TEY∣X,T 的缺陷：被 e(X)e(X)e(X) 隐式加权 → 选择偏差
2.1 识别是干净的
在上述前提下，条件期望本身就是正确的因果量：
EY∣T=t,x=EY(t)∣x=μt(x). \mathbb{E}Y \\mid T=t, x = \mathbb{E}Y(t) \\mid x = \mu_t(x). EY∣T=t,x=EY(t)∣x=μt(x).
因此识别无偏 ，问题完全出在估计这一层。
2.2 估计出问题：密度比与隐式加权
直接拟合时，治疗组 head 的经验风险为
R^1=1n1∑i:Ti=1L(f(xi,1), yi), \hat{R}1 = \frac{1}{n_1}\sum{i: T_i=1} L\big(f(x_i,1),\, y_i\big), R^1=n11i:Ti=1∑L(f(xi,1),yi),
它依概率收敛到
EX∣T=1L(f(X,1),μ1(X)), \mathbb{E}_{X \mid T=1}\Big L\\big(f(X,1), \\mu_1(X)\\big) \\Big, EX∣T=1L(f(X,1),μ1(X)),
而我们真正要最小化的是全人群 误差 EXL(f(X,1),μ1(X))\mathbb{E}_X\bigL(f(X,1), \\mu_1(X))\\bigEXL(f(X,1),μ1(X))。
由 Bayes 法则：
P(X∣T=1)=P(T=1∣X) P(X)P(T=1)=e(X) P(X)P(T=1). P(X \mid T=1) = \frac{P(T=1 \mid X)\, P(X)}{P(T=1)} = \frac{e(X)\, P(X)}{P(T=1)}. P(X∣T=1)=P(T=1)P(T=1∣X)P(X)=P(T=1)e(X)P(X).
两边除以 P(X)P(X)P(X)，得到密度比
P(X∣T=1)P(X)=e(X)P(T=1) . \boxed{\ \frac{P(X \mid T=1)}{P(X)} = \frac{e(X)}{P(T=1)}\ }. P(X)P(X∣T=1)=P(T=1)e(X) .
于是对任意函数 ggg：
EX∣T=1g(X)=∫g(x) P(x∣T=1) dx=1P(T=1)∫g(x) e(x) P(x) dx=EX g(X) e(X) P(T=1). \mathbb{E}_{X \mid T=1}g(X) = \int g(x)\, P(x \mid T=1)\, dx = \frac{1}{P(T=1)}\int g(x)\, e(x)\, P(x)\, dx = \frac{\mathbb{E}_X\\,g(X)\\, e(X)\\,}{P(T=1)}. EX∣T=1g(X)=∫g(x)P(x∣T=1)dx=P(T=1)1∫g(x)e(x)P(x)dx=P(T=1)EXg(X)e(X).
读出结论 ：直接拟合相当于给每个治疗样本施加「有效权重 ∝e(X)\propto e(X)∝e(X)」、给每个对照样本施加「有效权重 ∝1−e(X)\propto 1-e(X)∝1−e(X)」，而不是对全人群 P(X)P(X)P(X) 的均匀权重（∝1\propto 1∝1）。因此
e(X)e(X)e(X) 随 XXX 变化越剧烈，估计就越被拽向「治疗高发区」与「对照高发区」，偏离全人群分布------这就是估计层面的选择偏差（selection bias）。
2.3 判据：常数倾向时无偏
若 e(x)≡πe(x) \equiv \pie(x)≡π（治疗分配与 XXX 无关），则
P(X∣T=1)=π P(X)π=P(X), P(X \mid T=1) = \frac{\pi\, P(X)}{\pi} = P(X), P(X∣T=1)=ππP(X)=P(X),
密度比恒为 111，EX∣T=1g=EXg\mathbb{E}_{X \mid T=1}g = \mathbb{E}_XgEX∣T=1g=EXg，无偏。
结论 ：病根不是「存在倾向」，而是「倾向随 XXX 变化」。
一个简易例子 ：设唯一混杂因子为二值病情 X∈{0,1}X\in\{0,1\}X∈{0,1}（000=轻症，111=重症），且 P(X=0)=P(X=1)=0.5P(X{=}0)=P(X{=}1)=0.5P(X=0)=P(X=1)=0.5；真实个体效应恒为 +10+10+10，即 μ0(0)=30, μ0(1)=70\mu_0(0)=30,\ \mu_0(1)=70μ0(0)=30, μ0(1)=70，故 μ1(0)=40, μ1(1)=80\mu_1(0)=40,\ \mu_1(1)=80μ1(0)=40, μ1(1)=80，真实 ATE =10=10=10。
- 常数倾向 （治疗是公平硬币，与病情无关，e(0)=e(1)=0.5e(0)=e(1)=0.5e(0)=e(1)=0.5）：两组里轻重症各占一半，直接拟合的边际差为
EY∣T=1−EY∣T=0=(0.5⋅40+0.5⋅80)−(0.5⋅30+0.5⋅70)=60−50=10,EY\\mid T{=}1-EY\\mid T{=}0=(0.5\cdot40+0.5\cdot80)-(0.5\cdot30+0.5\cdot70)=60-50=10,EY∣T=1−EY∣T=0=(0.5⋅40+0.5⋅80)−(0.5⋅30+0.5⋅70)=60−50=10,
与真实 ATE 一致，无偏。 - 变化倾向 （重症更易被治疗，e(0)=0.2, e(1)=0.8e(0)=0.2,\ e(1)=0.8e(0)=0.2, e(1)=0.8）：治疗组中重症占 80%80\%80%、对照组中轻症占 80%80\%80%，直接拟合的边际差为
EY∣T=1−EY∣T=0=(0.2⋅40+0.8⋅80)−(0.8⋅30+0.2⋅70)=72−38=34,EY\\mid T{=}1-EY\\mid T{=}0=(0.2\cdot40+0.8\cdot80)-(0.8\cdot30+0.2\cdot70)=72-38=34,EY∣T=1−EY∣T=0=(0.2⋅40+0.8⋅80)−(0.8⋅30+0.2⋅70)=72−38=34,
与真实 ATE（101010）相差甚远，有偏 （高估 242424）------这就是选择偏差。
同一种病、同一个真实效应，只因 e(X)e(X)e(X) 从常数变成随 XXX 变化，朴素估计就从无偏变成严重有偏。
3. 表示学习 I：TARNet ------ 共享（平衡）表征的起点
直接拟合的症结在于：两个响应面各在各组「被 e(X)e(X)e(X) 扭曲」的 XXX 分布上训练。TARNet（T reatment-A gnostic R epresentation Net work，处理无关表征网络）引入共享表征：
Φ(x) （两组共享的表示）
/ \
/ \
h1(Φ) h0(Φ)
μ1 μ0- 共享 = 平衡思想的雏形 ：底层参数在全体样本上联合训练，两个 head 互相借用统计强度 → 降低方差；Φ\PhiΦ 对处理「无关（agnostic）」，提供一个统一表征空间，为后续操作铺路。
- 尚未显式处理 e(X)e(X)e(X) ：没有约束迫使 P(Φ∣T=1)≈P(Φ∣T=0)P(\Phi \mid T=1) \approx P(\Phi \mid T=0)P(Φ∣T=1)≈P(Φ∣T=0)，每个 head 内部仍被 ∝e(X)\propto e(X)∝e(X) 隐式加权。TARNet 只治「各训各、方差大」，不直接治选择偏差。
效应估计为 plug-in：
τ^(x)=h1(Φ(x))−h0(Φ(x)). \hat{\tau}(x) = h_1(\Phi(x)) - h_0(\Phi(x)). τ^(x)=h1(Φ(x))−h0(Φ(x)).
4. 表示学习 II：DragonNet ------ 目标化表征
DragonNet 不再回避 e(X)e(X)e(X)，而是显式学出 e(X)e(X)e(X)，并用高效影响函数把它和结果函数「目标化」地耦合。
4.1 结构：三头
Φ(x)
/ | \
/ | \
h1(Φ) h0(Φ) g(Φ) ← g(Φ) 为 e(X) 的估计
μ1 μ0 e- h1,h0h_1, h_0h1,h0 各在自己组的观测样本上训练；
- g(Φ)g(\Phi)g(Φ) 用交叉熵拟合观测 TTT，显式估计 e(X)e(X)e(X)；
- 效应仍是 plug-in：τ^(x)=h1(Φ(x))−h0(Φ(x))\hat{\tau}(x) = h_1(\Phi(x)) - h_0(\Phi(x))τ^(x)=h1(Φ(x))−h0(Φ(x))。
4.2 高效影响函数与 Clever Covariate
4.2.1 目标对象：反事实均值，不是观测组均值
先钉准要估的东西：
| 符号 | 含义 | 干净？ |
|---|---|---|
| θ1=EY(1)\theta_1=\mathbb{E}Y(1)θ1=EY(1) | 人人治疗的反事实均值 | ✅ |
| θ0=EY(0)\theta_0=\mathbb{E}Y(0)θ0=EY(0) | 人人不治疗的反事实均值 | ✅ |
| EY∣T=1\mathbb{E}Y\\mid T{=}1EY∣T=1 | 数据里实际被治疗者的均值 | ❌ 被 e(X)e(X)e(X) 挑选扭曲 |
有混杂时 EY∣T=1≠θ1\mathbb{E}Y\\mid T{=}1\neq\theta_1EY∣T=1=θ1。ATE 是两个干净反事实均值之差：
ψ=θ1−θ0=Eμ1(X)−μ0(X).\psi = \theta_1 - \theta_0 = \mathbb{E}\big\\mu_1(X)-\\mu_0(X)\\big.ψ=θ1−θ0=Eμ1(X)−μ0(X).
4.2.2 影响函数的线性性：相减即得 ATE
- φ1\varphi_1φ1 是 θ1=EY(1)\theta_1=\mathbb{E}Y(1)θ1=EY(1) 的影响函数；
- φ0\varphi_0φ0 是 θ0=EY(0)\theta_0=\mathbb{E}Y(0)θ0=EY(0) 的影响函数；
- 「差的影响函数 = 影响函数的差」：
φ=φ1−φ0.\varphi = \varphi_1 - \varphi_0.φ=φ1−φ0.
4.2.3 每个 φt\varphi_tφt 的双重稳健结构
治疗组：
φ1=Te(X)(Y−μ1(X))⏟IPW：修正分配机制+(μ1(X)−θ1)⏟回归：修正结果函数\varphi_1 = \underbrace{\frac{T}{e(X)}\big(Y-\mu_1(X)\big)}{\text{IPW：修正分配机制}} + \underbrace{\big(\mu_1(X)-\theta_1\big)}{\text{回归：修正结果函数}}φ1=IPW：修正分配机制 e(X)T(Y−μ1(X))+回归：修正结果函数 (μ1(X)−θ1)
对照组对称：
φ0=1−T1−e(X)(Y−μ0(X))⏟IPW：修正分配机制+(μ0(X)−θ0)⏟回归：修正结果函数\varphi_0 = \underbrace{\frac{1-T}{1-e(X)}\big(Y-\mu_0(X)\big)}{\text{IPW：修正分配机制}} + \underbrace{\big(\mu_0(X)-\theta_0\big)}{\text{回归：修正结果函数}}φ0=IPW：修正分配机制 1−e(X)1−T(Y−μ0(X))+回归：修正结果函数 (μ0(X)−θ0)
- IPW 块 ：用 e(X)e(X)e(X) 把「谁被挑进治疗/对照」的分配偏差拉回来；
- 回归块 ：用 μt(X)\mu_t(X)μt(X) 把「结果随 X 怎么变」的回归信息并进来。
4.2.4 相减拼出完整 φ
φ=Te(Y−μ1)−1−T1−e(Y−μ0)+(μ1−μ0)⏟τ(X) 个体效应−ψ⏟总体效应\varphi = \frac{T}{e}(Y-\mu_1) - \frac{1-T}{1-e}(Y-\mu_0) + \underbrace{(\mu_1-\mu_0)}{\tau(X)\ \text{个体效应}} - \underbrace{\psi}{\text{总体效应}}φ=eT(Y−μ1)−1−e1−T(Y−μ0)+τ(X) 个体效应 (μ1−μ0)−总体效应 ψ
（中间的减号 来自 ψ=θ1−θ0\psi=\theta_1-\theta_0ψ=θ1−θ0；第三项是「个体效应 − 总体效应」。）
4.2.5 Eφ=0 的理论验证（完整推导）
要证 Eφ=0\mathbb{E}\\varphi=0Eφ=0，只需证明三块均值分别为 0,0,ψ0,0,\psi0,0,ψ。只靠两个工具：
工具 1（迭代期望） ：先对 XXX 取条件期望，再取外层期望。
工具 2（可忽略性） ：T⊥Y(1)∣XT\perp Y(1)\mid XT⊥Y(1)∣X，以及 ET∣X=e(X)\mathbb{E}T\\mid X=e(X)ET∣X=e(X)、EY(1)∣X=μ1(X)\mathbb{E}Y(1)\\mid X=\mu_1(X)EY(1)∣X=μ1(X)。
第一块（治疗组 IPW 项）：
ETe(X)(Y−μ1(X))=E1e(X) E\[T⋅Y(1)⏟随机，需可忽略性−T⋅μ1(X)⏟μ1(X) 是 X 的函数，直接提∣X]=E1e(X)(e(X)μ1(X)−e(X)μ1(X))=0.\begin{aligned} \mathbb{E}\Big\\frac{T}{e(X)}\\big(Y-\\mu_1(X)\\big)\\Big &= \mathbb{E}\Big\\frac{1}{e(X)}\\,\\mathbb{E}\\big\[\\underbrace{T\\cdot Y(1)}_{\\text{随机，需可忽略性}}-\\underbrace{T\\cdot\\mu_1(X)}_{\\mu_1(X)\\text{ 是 X 的函数，直接提}}\\mid X\\big\Big] \\ &= \mathbb{E}\Big\\frac{1}{e(X)}\\Big(e(X)\\mu_1(X)-e(X)\\mu_1(X)\\Big)\\Big = 0. \end{aligned}Ee(X)T(Y−μ1(X))=Ee(X)1E\[随机，需可忽略性 T⋅Y(1)−μ1(X) 是 X 的函数，直接提 T⋅μ1(X)∣X]=Ee(X)1(e(X)μ1(X)−e(X)μ1(X))=0.
其中两个 e(X)μ1(X)e(X)\mu_1(X)e(X)μ1(X) 来源不同：
- ET⋅Y(1)∣X=T⊥Y(1)∣XET∣X EY(1)∣X=e(X)μ1(X)\mathbb{E}T\\cdot Y(1)\\mid X \overset{T\perp Y(1)\mid X}{=} \mathbb{E}T\\mid X\,\mathbb{E}Y(1)\\mid X = e(X)\mu_1(X)ET⋅Y(1)∣X=T⊥Y(1)∣XET∣XEY(1)∣X=e(X)μ1(X)（要用可忽略性拆开 T 与 Y(1)）；
- ET⋅μ1(X)∣X=μ1(X) ET∣X=μ1(X)e(X)\mathbb{E}T\\cdot\\mu_1(X)\\mid X = \mu_1(X)\,\mathbb{E}T\\mid X = \mu_1(X)e(X)ET⋅μ1(X)∣X=μ1(X)ET∣X=μ1(X)e(X)（μ1(X)\mu_1(X)μ1(X) 是 X 的函数，条件于 X 即常数，直接提出去，无需可忽略性）。
两者同形，一减为 0。
第二块 （对照组）：完全对称，得 000。
第三块 ：Eμ1−μ0=EY(1)−EY(0)=ψ\mathbb{E}\\mu_1-\\mu_0=\mathbb{E}Y(1)-\mathbb{E}Y(0)=\psiEμ1−μ0=EY(1)−EY(0)=ψ。
故
Eφ=0−0+ψ−ψ=0.■\mathbb{E}\\varphi = 0 - 0 + \psi - \psi = 0. \quad\blacksquareEφ=0−0+ψ−ψ=0.■
4.2.6 Clever covariate 与 targeting 条件
定义 clever covariate
H(X)=Te(X)−1−T1−e(X)H(X) = \frac{T}{e(X)} - \frac{1-T}{1-e(X)}H(X)=e(X)T−1−e(X)1−T
（治疗组 H=1/eH=1/eH=1/e，对照组 H=−1/(1−e)H=-1/(1-e)H=−1/(1−e)，即 IPW 权重。）记观测组响应 μT(X)=Tμ1(X)+(1−T)μ0(X)\mu_T(X)=T\mu_1(X)+(1-T)\mu_0(X)μT(X)=Tμ1(X)+(1−T)μ0(X)，利用 T(1−T)=0T(1-T)=0T(1−T)=0 合并前两项：
φ=H(X)(Y−μT(X))+(μ1(X)−μ0(X)−ψ).\varphi = H(X)\big(Y-\mu_T(X)\big) + \big(\mu_1(X)-\mu_0(X)-\psi\big).φ=H(X)(Y−μT(X))+(μ1(X)−μ0(X)−ψ).
因为回归块均值本为 ψ−ψ=0\psi-\psi=0ψ−ψ=0，所以
Eφ=0 ⟺ EH(X)(Y−μT(X))=0⏟目标化（targeting）条件\mathbb{E}\\varphi=0 \iff \underbrace{\mathbb{E}\bigH(X)(Y-\\mu_T(X))\\big=0}_{\text{目标化（targeting）条件}}Eφ=0⟺目标化（targeting）条件 EH(X)(Y−μT(X))=0
即：把每个样本的残差按 clever covariate 加权，平均要为 0。DragonNet 下一节（4.3）的正则项就是逼网络满足这条条件。
4.2.7 补充辨析：均值为 0 ≠ 双重稳健
- Eφ=0\mathbb{E}\\varphi=0Eφ=0 是「影响函数」的定义性要求（保证 oracle 估计量一阶无偏），不是双重稳健特有的。
- 双重稳健 来自 φ 的乘积结构：IPW 块是「倾向函数 × 结果残差」。算出的偏差是
偏差=E(e0e−1)(m1−μ1)−E(e−e01−e)(m0−μ0)\text{偏差} = \mathbb{E}\Big\\big(\\tfrac{e_0}{e}-1\\big)(m_1-\\mu_1)\\Big - \mathbb{E}\Big\\big(\\tfrac{e-e_0}{1-e}\\big)(m_0-\\mu_0)\\Big偏差=E(ee0−1)(m1−μ1)−E(1−ee−e0)(m0−μ0)
每一项都是「倾向误差 × 结果误差」，所以任一模型正确（一个误差为 0），乘积即 0。
关系 ：Eφ=0\mathbb{E}\\varphi=0Eφ=0 是「两模型都对」的特例；双重稳健是「任一模型对即可」的更强结论。均值为 0 是入场券，乘积结构才是双重稳健的来源。
一句话总纲：两个反事实均值相减 → 影响函数相减 → 每个影响函数 = IPW + 回归（双重稳健）→ 用 clever covariate 合并 → 得 targeting 条件。
4.3 DragonNet 的 Targeted Regularization
DragonNet 在损失里加入正则项
γ(θ)=En (Tg(Φ)−1−T1−g(Φ)) (Q1(Φ)+Q0(Φ)), \gamma(\theta) = \mathbb{E}_n\!\left\\Big(\\frac{T}{g(\\Phi)} - \\frac{1-T}{1-g(\\Phi)}\\Big)\\,\\big(Q\^{1}(\\Phi) + Q\^{0}(\\Phi)\\big)\\right, γ(θ)=En(g(Φ)T−1−g(Φ)1−T)(Q1(Φ)+Q0(Φ)),
其中 Tg(Φ)−1−T1−g(Φ)\tfrac{T}{g(\Phi)} - \tfrac{1-T}{1-g(\Phi)}g(Φ)T−1−g(Φ)1−T 正是以倾向 head ggg 估计的 clever covariate。对 γ\gammaγ 求关于 outcome head 的梯度：
∂γ∂Q1=∂γ∂Q0=Tg(Φ)−1−T1−g(Φ)=H^(Φ), \frac{\partial \gamma}{\partial Q^{1}} = \frac{\partial \gamma}{\partial Q^{0}} = \frac{T}{g(\Phi)} - \frac{1-T}{1-g(\Phi)} = \hat{H}(\Phi), ∂Q1∂γ=∂Q0∂γ=g(Φ)T−1−g(Φ)1−T=H^(Φ),
即梯度方向恰好是 clever covariate。于是最小化 γ\gammaγ 把 Q1,Q0Q^1, Q^0Q1,Q0 沿影响函数修正方向推动，迫使三者满足一阶条件 Eφ≈0\mathbb{E}\\varphi \approx 0Eφ≈0。
这相当于把 TMLE 的 targeting 步骤内建进神经网络：把「朴素 plug-in」升级为「targeted plug-in」。
由此获得 TARNet 不具备的性质：
- n\sqrt{n}n 一致性、渐近正态；
- 达到半参数效率下界 （方差 Eφ2\mathbb{E}\\varphi\^2Eφ2，可计算置信区间）；
- 对倾向模型 ggg 的误设稳健 （targeting 消掉了 plug-in 对 e(X)e(X)e(X) 的一阶敏感项）。
5. 表示学习 III：CEIB ------ 最小充分因果表征
CEIB（C ause-E ffect I nformation B ottleneck，因果效应信息瓶颈）把问题上升到一个更根本的原则：信息瓶颈（IB）。
5.1 IB 目标函数
max I(Z;(Y,T))−β I(Z;X), \max\ I\big(Z; (Y,T)\big) - \beta\, I(Z; X), max I(Z;(Y,T))−βI(Z;X),
- I(Z;(Y,T))I(Z;(Y,T))I(Z;(Y,T))：相关项 ------ ZZZ 要保留对「结果 YYY 与 处理 TTT」都相关的信息；
- I(Z;X)I(Z;X)I(Z;X)：压缩项 ------ ZZZ 尽量压缩掉其余所有信息。
关键在相关变量是 (Y,T)(Y,T)(Y,T) 的联合：它刻意保留「既影响结果、又影响处理分配」的信息------这正是混杂因子该有的信息。
5.2 充分协变量与后门准则
只要 ZZZ 是一个充分协变量（sufficient covariate），满足
Y⊥FT∣(Z,T),Z⊥FT, Y \perp F_T \mid (Z,T),\qquad Z \perp F_T, Y⊥FT∣(Z,T),Z⊥FT,
（FTF_TFT 表示干预机制）就可由 Pearl 后门准则把因果量写成
ACE=ESCE(Z),SCE(Z)=EY∣Z,T=1−EY∣Z,T=0. ACE = \mathbb{E}\bigSCE(Z)\\big, \qquad SCE(Z) = \mathbb{E}Y \\mid Z,T=1 - \mathbb{E}Y \\mid Z,T=0. ACE=ESCE(Z),SCE(Z)=EY∣Z,T=1−EY∣Z,T=0.
即：只要 ZZZ 保留了「足以堵住后门路径」的混杂信息（既够预测 YYY、又够刻画 TTT 的分配），其余冗余信息全被压掉 。压缩掉的冗余 = 一种正则化，降低估计方差、避免高维 XXX 过拟合。
5.3 变分下界与架构
设 Z=(V1,V2)Z=(V_1,V_2)Z=(V1,V2)，V1,V2V_1,V_2V1,V2 分别编码 X1,X2X_1,X_2X1,X2。压缩项可写为 KL 散度：
I(V1;X1)=Ep(x1) DKL(qϕ(v1∣x1) ∥ p(v1)),I(V2;X2)=Ep(x2) DKL(qη(v2∣x2) ∥ p(v2)). I(V_1;X_1) = \mathbb{E}{p(x_1)}\, D{KL}\big(q_\phi(v_1\mid x_1) \,\|\, p(v_1)\big), \qquad I(V_2;X_2) = \mathbb{E}{p(x_2)}\, D{KL}\big(q_\eta(v_2\mid x_2) \,\|\, p(v_2)\big). I(V1;X1)=Ep(x1)DKL(qϕ(v1∣x1)∥p(v1)),I(V2;X2)=Ep(x2)DKL(qη(v2∣x2)∥p(v2)).
相关项由
I(Z;(Y,T))=Ep(x,y,t) Ep(z∣x)logp(y,t∣z)p(y,t) I(Z;(Y,T)) = \mathbb{E}{p(x,y,t)}\,\mathbb{E}{p(z\mid x)}\Big\\log \\frac{p(y,t\\mid z)}{p(y,t)}\\Big I(Z;(Y,T))=Ep(x,y,t)Ep(z∣x)logp(y,t)p(y,t∣z)
给出，展开并利用 KL 散度非负，得到变分下界
I(Z;(Y,T)) ≥ Ep(x,y,t) Ep(z∣x)logpθ(y∣t,z)+logpψ(t∣z)+h(y,t), I(Z;(Y,T)) \;\ge\; \mathbb{E}{p(x,y,t)}\,\mathbb{E}{p(z\mid x)} \Big\\log p_\\theta(y\\mid t,z) + \\log p_\\psi(t\\mid z)\\Big + h(y,t), I(Z;(Y,T))≥Ep(x,y,t)Ep(z∣x)logpθ(y∣t,z)+logpψ(t∣z)+h(y,t),
其中 h(y,t)h(y,t)h(y,t) 是 (y,t)(y,t)(y,t) 的熵（常数）。
架构：
X ──encoder──> Z = (V1, V2) （离散、低维，Gumbel-softmax）
│
┌─────────┴─────────┐
↓ ↓
p_θ(y|t,z) p_ψ(t|z)
两分支 μ̂_t 处理分配（倾向）要点：
- 离散潜在空间 ：用 Gumbel-softmax 把 ZZZ 学成类别码（one-hot） ，患者被分进若干等价类（equivalence classes） ，模型因此可解释，每个子群可单独算 SCE；
- 解码器类似 TARNet ：μ^=t f2(z)+(1−t) f3(z)\hat{\mu} = t\, f_2(z) + (1-t)\, f_3(z)μ^=tf2(z)+(1−t)f3(z)，把「以高维 XXX 为条件」换成「以充分降维 ZZZ 为条件」；
- 倾向头 pψ(t∣z)p_\psi(t\mid z)pψ(t∣z) ：与 DragonNet 一样有处理分配头，但它服务于 IB 相关项 I(Z;(Y,T))I(Z;(Y,T))I(Z;(Y,T))（保证 (Y,T)(Y,T)(Y,T) 联合可识别），不是 targeted regularization；
- β\betaβ 控制压缩度：从「完全不充分」到「完全充分」的连续谱，这是 TARNet / DragonNet 没有的自由度。
5.4 CEIB 独有的贡献
- 系统性缺失协变量（systematically missing covariates） ：测试时某些维度系统性缺失，传统方法只能丢弃或插补；CEIB 借助离散等价类 把「完整病例」学到的分布转移到「缺失病例」上------把缺失样本映射到最近的等价类即可估计效应。
- 可解释性 ：离散 ZZZ 直接给出患者分群，每个群的 SCE 可读，贴合医疗场景的「分组治疗」决策。
6. 方法对照表
| 阶段 | 方法 | 对 e(X)e(X)e(X) / TTT 信息的态度 | 表征的性质 | 关键机制 |
|---|---|---|---|---|
| 1 | 直接拟合 EY∣X,T\mathbb{E}Y\\mid X,TEY∣X,T | 无视 | 无表征，被 ∝e(X)\propto e(X)∝e(X) 加权 | 隐式加权 → 选择偏差 |
| 2 | TARNet | 未处理 | 共享 / 处理无关（平衡思想雏形） | 共享 Φ\PhiΦ + 双 head |
| 3 | DragonNet | 显式建模 + 影响函数耦合 | 目标化（targeted） | 倾向 head + targeted reg |
| 4 | CEIB | 保留 I(Z;T)I(Z;T)I(Z;T)、压缩冗余 | 最小充分因果表征 | 信息瓶颈 + 离散等价类 |
| 方法 | 一致性 / 渐近正态 | 效率性 | 对倾向误设稳健 | 可解释性 | 缺失协变量 |
|---|---|---|---|---|---|
| 直接拟合 | ✗（选择偏差） | ✗ | ✗ | ✗ | ✗ |
| TARNet | 经验上改善 | ✗ | ✗ | ✗ | ✗ |
| DragonNet | ✓（n\sqrt{n}n 、渐近正态） | ✓（半参效率界） | ✓ | ✗ | ✗ |
| CEIB | ✓（充分降维后） | 未达效率界 | 部分（靠 IB 充分性） | ✓（离散分群） | ✓ |
7. 从「平衡」到「充分」：一条主线
概念上的演进可概括为：
- 平衡表征 （TARNet 的共享 Φ\PhiΦ 所代表的思路）：让表征「不偏袒」任一处理组，统一空间、共享强度；
- 目标化表征 （DragonNet）：把 e(X)e(X)e(X) 显式请进来，用高效影响函数让估计达到效率与稳健；
- 最小充分因果表征 （CEIB）：用信息瓶颈把表征压缩到恰好充分 ------只保留对 (Y,T)(Y,T)(Y,T) 必要的因果信息。
三者对 e(X)e(X)e(X) 的态度从「无视」→「共享 / 目标化」→「压缩为充分统计量」，正是端到端神经网络因果效应估计从「平衡表征」走向「最小充分因果表征」的完整脉络。
参考文献
- Shalit, Johansson & Sontag (2017). Estimating Individual Treatment Effect: Generalization Bounds and Algorithms. arXiv:1606.03976.（TARNet / CFR）
- Shi, Blei & Veitch (2019). Adapting Neural Networks for the Estimation of Treatment Effects. NeurIPS.（DragonNet）
- Parbhoo, Wieser, Wieczorek & Roth. Cause-Effect Deep Information Bottleneck for Systematically Missing Covariates. arXiv:1807.02326.（CEIB）