【差分隐私相关概念】瑞丽差分隐私（RDP）-命题1

---

命题1的详细推导过程

命题1 ：设 f : D → R 1 f: \mathcal{D} \to \mathcal{R}_1 f:D→R1 是 ( α , ϵ 1 ) (\alpha, \epsilon_1) (α,ϵ1)-RDP， g : R 1 × D → R 2 g: \mathcal{R}_1 \times \mathcal{D} \to \mathcal{R}_2 g:R1×D→R2 是 ( α , ϵ 2 ) (\alpha, \epsilon_2) (α,ϵ2)-RDP。定义组合机制 h ( D ) = ( X , Y ) h(D) = (X, Y) h(D)=(X,Y)，其中 X ← f ( D ) X \leftarrow f(D) X←f(D) 且 Y ← g ( X , D ) Y \leftarrow g(X, D) Y←g(X,D)，则 h h h 满足 ( α , ϵ 1 + ϵ 2 ) (\alpha, \epsilon_1 + \epsilon_2) (α,ϵ1+ϵ2)-RDP。

证明：

1. Rényi散度的定义展开

   需证明对相邻数据集 D D D 和 D ′ D' D′，有：
   D α ( h ( D ) ∥ h ( D ′ ) ) ≤ ϵ 1 + ϵ 2 . D_\alpha(h(D) \parallel h(D')) \leq \epsilon_1 + \epsilon_2. Dα(h(D)∥h(D′))≤ϵ1+ϵ2.

   根据Rényi散度的定义：
   exp ⁡ ( α − 1 ) D α ( h ( D ) ∥ h ( D ′ ) ) = ∫ R 1 × R 2 ( Z ( x , y ) α Z ′ ( x , y ) 1 − α )   d y   d x , \exp\left (\\alpha-1)D_\\alpha(h(D) \\parallel h(D')) \\right = \int_{\mathcal{R}_1 \times \mathcal{R}_2} \left( Z(x,y)^\alpha Z'(x,y)^{1-\alpha} \right) \, dy \, dx, exp(α−1)Dα(h(D)∥h(D′))=∫R1×R2(Z(x,y)αZ′(x,y)1−α)dydx,

   其中 Z = ( X , Y ) Z = (X,Y) Z=(X,Y) 是 h ( D ) h(D) h(D) 的联合分布， Z ′ = ( X ′ , Y ′ ) Z' = (X',Y') Z′=(X′,Y′) 是 h ( D ′ ) h(D') h(D′) 的联合分布。

2. 联合分布的分解

   联合分布可分解为：
   Z ( x , y ) = X ( x ) ⋅ Y ( y ∣ x , D ) , Z ′ ( x , y ) = X ′ ( x ) ⋅ Y ′ ( y ∣ x , D ′ ) , Z(x,y) = X(x) \cdot Y(y \mid x, D), \quad Z'(x,y) = X'(x) \cdot Y'(y \mid x, D'), Z(x,y)=X(x)⋅Y(y∣x,D),Z′(x,y)=X′(x)⋅Y′(y∣x,D′),

   其中：

   • X ( x ) = P f ( D ) ( x ) X(x) = P_{f(D)}(x) X(x)=Pf(D)(x)，即 f ( D ) f(D) f(D) 在 x x x 处的概率密度；
   • Y ( y ∣ x , D ) = P g ( x , D ) ( y ) Y(y \mid x, D) = P_{g(x,D)}(y) Y(y∣x,D)=Pg(x,D)(y)，即给定 X = x X=x X=x， g ( x , D ) g(x,D) g(x,D) 在 y y y 处的概率密度；
   • X ′ ( x ) = P f ( D ′ ) ( x ) X'(x) = P_{f(D')}(x) X′(x)=Pf(D′)(x)， Y ′ ( y ∣ x , D ′ ) = P g ( x , D ′ ) ( y ) Y'(y \mid x, D') = P_{g(x,D')}(y) Y′(y∣x,D′)=Pg(x,D′)(y)。

   代入积分式：
   exp ⁡ ( α − 1 ) D α ( h ( D ) ∥ h ( D ′ ) ) = ∫ R 1 ∫ R 2 ( X ( x ) Y ( y ∣ x , D ) ) α ( X ′ ( x ) Y ′ ( y ∣ x , D ′ ) ) 1 − α   d y   d x . \exp\left (\\alpha-1)D_\\alpha(h(D) \\parallel h(D')) \\right = \int_{\mathcal{R}1} \int{\mathcal{R}_2} \left( X(x)Y(y \mid x,D) \right)^\alpha \left( X'(x)Y'(y \mid x,D') \right)^{1-\alpha} \, dy \, dx. exp(α−1)Dα(h(D)∥h(D′))=∫R1∫R2(X(x)Y(y∣x,D))α(X′(x)Y′(y∣x,D′))1−αdydx.

3. 分离积分并应用条件RDP

   将积分分解为外层对 x x x 和内层对 y y y 的积分：
   ∫ R 1 X ( x ) α X ′ ( x ) 1 − α ( ∫ R 2 Y ( y ∣ x , D ) α Y ′ ( y ∣ x , D ′ ) 1 − α   d y ) d x . \int_{\mathcal{R}1} X(x)^\alpha X'(x)^{1-\alpha} \left( \int{\mathcal{R}_2} Y(y \mid x,D)^\alpha Y'(y \mid x,D')^{1-\alpha} \, dy \right) dx. ∫R1X(x)αX′(x)1−α(∫R2Y(y∣x,D)αY′(y∣x,D′)1−αdy)dx.

   • 内部积分（对 y y y） ：
     对于固定的 x x x， g ( x , D ) g(x,D) g(x,D) 和 g ( x , D ′ ) g(x,D') g(x,D′) 满足 ( α , ϵ 2 ) (\alpha, \epsilon_2) (α,ϵ2)-RDP，故：
     ∫ R 2 Y ( y ∣ x , D ) α Y ′ ( y ∣ x , D ′ ) 1 − α   d y ≤ exp ⁡ ( ( α − 1 ) ϵ 2 ) . \int_{\mathcal{R}_2} Y(y \mid x,D)^\alpha Y'(y \mid x,D')^{1-\alpha} \, dy \leq \exp\left( (\alpha-1)\epsilon_2 \right). ∫R2Y(y∣x,D)αY′(y∣x,D′)1−αdy≤exp((α−1)ϵ2).
   • 外部积分（对 x x x） ：
     f ( D ) f(D) f(D) 和 f ( D ′ ) f(D') f(D′) 满足 ( α , ϵ 1 ) (\alpha, \epsilon_1) (α,ϵ1)-RDP，故：
     ∫ R 1 X ( x ) α X ′ ( x ) 1 − α   d x ≤ exp ⁡ ( ( α − 1 ) ϵ 1 ) . \int_{\mathcal{R}_1} X(x)^\alpha X'(x)^{1-\alpha} \, dx \leq \exp\left( (\alpha-1)\epsilon_1 \right). ∫R1X(x)αX′(x)1−αdx≤exp((α−1)ϵ1).

4. 合并结果

   将两部分结合：
   exp ⁡ ( α − 1 ) D α ( h ( D ) ∥ h ( D ′ ) ) ≤ exp ⁡ ( ( α − 1 ) ϵ 1 ) ⋅ exp ⁡ ( ( α − 1 ) ϵ 2 ) = exp ⁡ ( ( α − 1 ) ( ϵ 1 + ϵ 2 ) ) . \exp\left (\\alpha-1)D_\\alpha(h(D) \\parallel h(D')) \\right \leq \exp\left( (\alpha-1)\epsilon_1 \right) \cdot \exp\left( (\alpha-1)\epsilon_2 \right) = \exp\left( (\alpha-1)(\epsilon_1 + \epsilon_2) \right). exp(α−1)Dα(h(D)∥h(D′))≤exp((α−1)ϵ1)⋅exp((α−1)ϵ2)=exp((α−1)(ϵ1+ϵ2)).

   两边取对数并除以 ( α − 1 ) (\alpha-1) (α−1)，得到：
   D α ( h ( D ) ∥ h ( D ′ ) ) ≤ ϵ 1 + ϵ 2 . D_\alpha(h(D) \parallel h(D')) \leq \epsilon_1 + \epsilon_2. Dα(h(D)∥h(D′))≤ϵ1+ϵ2.

结论 ：组合机制 h ( D ) = ( f ( D ) , g ( f ( D ) , D ) ) h(D) = (f(D), g(f(D), D)) h(D)=(f(D),g(f(D),D)) 的Rényi差分隐私参数为 ϵ 1 + ϵ 2 \epsilon_1 + \epsilon_2 ϵ1+ϵ2，即满足 ( α , ϵ 1 + ϵ 2 ) (\alpha, \epsilon_1 + \epsilon_2) (α,ϵ1+ϵ2)-RDP。

---

关键步骤说明

1. 联合分布的分解 ：

   利用条件概率 P ( X , Y ) = P ( X ) P ( Y ∣ X ) P(X,Y) = P(X)P(Y \mid X) P(X,Y)=P(X)P(Y∣X)，将联合分布的Rényi散度拆分为外层机制 f f f 和内层机制 g g g 的贡献。

2. 内部积分的上界 ：

   对每个固定的 x x x， g ( x , D ) g(x,D) g(x,D) 和 g ( x , D ′ ) g(x,D') g(x,D′) 的Rényi散度被 ϵ 2 \epsilon_2 ϵ2 限制，直接应用定义得到上界。

3. 外部积分的上界 ：

   外层机制 f ( D ) f(D) f(D) 和 f ( D ′ ) f(D') f(D′) 的Rényi散度被 ϵ 1 \epsilon_1 ϵ1 限制，同样通过定义完成上界估计。

4. 组合性 ：

   由于积分分离后各部分独立上界，最终结果表现为隐私参数的线性叠加，体现了RDP的组合性质。