【差分隐私相关概念】约束下的矩阵机制

矩阵机制（Matrix Mechanism，MM）详细解释

矩阵机制是差分隐私中一种高效的数据发布方法，通过设计策略矩阵 A \mathbf{A} A 对线性查询进行组合，优化噪声添加和结果重构的准确性。以下分步骤解释其原理及示例。

一、核心概念与公式解析

策略矩阵 A \mathbf{A} A
- 作用：将原始数据库 x \mathbf{x} x 编码为一组线性查询 A x \mathbf{Ax} Ax，例如总和、平均值或更复杂的组合。
- 设计目标：通过矩阵设计最小化重构误差或隐私预算消耗。
噪声添加
- 拉普拉斯机制 ：生成带噪声的响应
  r ~ = A x + Lap ( Δ A / ϵ ) , \widetilde{\mathbf{r}} = \mathbf{Ax} + \text{Lap}(\Delta_\mathbf{A}/\epsilon), r =Ax+Lap(ΔA/ϵ),
  其中 Δ A \Delta_\mathbf{A} ΔA 是策略矩阵的敏感度， ϵ \epsilon ϵ 是隐私预算。
- 敏感度 Δ A \Delta_\mathbf{A} ΔA ：定义为相邻数据库 x \mathbf{x} x 与 x ′ \mathbf{x}' x′ 的 A ( x − x ′ ) \mathbf{A}(\mathbf{x} - \mathbf{x}') A(x−x′) 的 L 1 L_1 L1 范数最大值。
最小二乘解
- 无约束近似 ：通过伪逆矩阵 A † \mathbf{A}^\dagger A† 重构数据库
  x ^ = A † r ~ = ( A ⊺ A ) − 1 A ⊺ r ~ , \widehat{\mathbf{x}} = \mathbf{A}^\dagger \widetilde{\mathbf{r}} = (\mathbf{A}^\intercal \mathbf{A})^{-1} \mathbf{A}^\intercal \widetilde{\mathbf{r}}, x =A†r =(A⊺A)−1A⊺r ,
  最小化 L 2 L_2 L2 误差 ∥ r ~ − A x ^ ∥ 2 2 \|\widetilde{\mathbf{r}} - \mathbf{A}\widehat{\mathbf{x}}\|_2^2 ∥r −Ax ∥22。
带约束的优化问题
- 非负性与最大似然 ：修正解以满足 x ^ ≥ 0 \widehat{\mathbf{x}} \geq 0 x ≥0 并最小化 L 1 L_1 L1 误差
  x ‾ = arg ⁡ min ⁡ x ^ ≥ 0 ∥ r ~ − A x ^ ∥ 1 . \overline{\mathbf{x}} = \arg \min_{\widehat{\mathbf{x}} \geq 0} \|\widetilde{\mathbf{r}} - \mathbf{A}\widehat{\mathbf{x}}\|_1. x=argx ≥0min∥r −Ax ∥1.

二、具体示例：人口统计发布

1. 场景设定

数据库 x \mathbf{x} x ：两个群体的人口数 x = [ x 1 , x 2 ] \mathbf{x} = [x_1, x_2] x=[x1,x2]，其中 x 1 = 100 x_1 = 100 x1=100（城市人口）， x 2 = 200 x_2 = 200 x2=200（农村人口）。
策略矩阵 A \mathbf{A} A ：设计为同时查询总人口和城乡差异：
A = [ 1 1 1 − 1 ] . \mathbf{A} = \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}. A=[111−1].
- 查询结果 ： A x = [ 300 , − 100 ] \mathbf{Ax} = [300, -100] Ax=[300,−100]（总人口 300，城乡差 -100）。

2. 敏感度计算

相邻数据库 ：假设 x \mathbf{x} x 与 x ′ \mathbf{x}' x′ 相差 1（如 x 1 ′ = x 1 + 1 x_1' = x_1 + 1 x1′=x1+1）。
- A ( x − x ′ ) \mathbf{A}(\mathbf{x} - \mathbf{x}') A(x−x′) 的可能值为 [ 1 , 1 ] [1, 1] [1,1] 或 [ 1 , − 1 ] [1, -1] [1,−1]。
- L 1 L_1 L1 范数的最大值为 2 2 2，因此 Δ A = 2 \Delta_\mathbf{A} = 2 ΔA=2。

3. 噪声添加

隐私参数 ：设 ϵ = 1 \epsilon = 1 ϵ=1，噪声尺度为 Δ A / ϵ = 2 \Delta_\mathbf{A}/\epsilon = 2 ΔA/ϵ=2。
生成噪声 ：从拉普拉斯分布采样，假设噪声为 Lap ( 2 ) \text{Lap}(2) Lap(2)：
r ~ = [ 300 + 3 , − 100 − 1 ] = [ 303 , − 101 ] . \widetilde{\mathbf{r}} = [300 + 3, -100 - 1] = [303, -101]. r =[300+3,−100−1]=[303,−101].

4. 最小二乘解

计算伪逆 ：
A † = ( A ⊺ A ) − 1 A ⊺ = 1 2 [ 1 1 1 − 1 ] . \mathbf{A}^\dagger = (\mathbf{A}^\intercal \mathbf{A})^{-1} \mathbf{A}^\intercal = \frac{1}{2} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}. A†=(A⊺A)−1A⊺=21[111−1].
重构结果 ：
x ^ = 1 2 [ 1 1 1 − 1 ] [ 303 − 101 ] = 1 2 [ 202 404 ] = [ 101 , 202 ] . \widehat{\mathbf{x}} = \frac{1}{2} \begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix} \begin{bmatrix} 303 \\ -101 \end{bmatrix} = \frac{1}{2} \begin{bmatrix} 202 \\ 404 \end{bmatrix} = [101, 202]. x =21[111−1][303−101]=21[202404]=[101,202].
- 结果 x ^ = [ 101 , 202 ] \widehat{\mathbf{x}} = [101, 202] x =[101,202] 非负，无需进一步优化。

5. 含负数的优化示例

假设噪声导致负值 ：若 r ~ = [ 305 , − 105 ] \widetilde{\mathbf{r}} = [305, -105] r =[305,−105]，则：
x ^ = 1 2 [ 200 410 ] = [ 100 , 205 ] . \widehat{\mathbf{x}} = \frac{1}{2} \begin{bmatrix} 200 \\ 410 \end{bmatrix} = [100, 205]. x =21[200410]=[100,205].
- 结果仍为非负，直接接受。

三、优化问题的必要性

若最小二乘解出现负数，需通过优化问题修正：

1. 示例场景

噪声响应 ： r ~ = [ 290 , 90 ] \widetilde{\mathbf{r}} = [290, 90] r =[290,90]（不合理，因城乡差不可能超过总人口）。
最小二乘解 ：
x ^ = 1 2 [ 290 + 90 290 − 90 ] = [ 190 , 100 ] . \widehat{\mathbf{x}} = \frac{1}{2} \begin{bmatrix} 290 + 90 \\ 290 - 90 \end{bmatrix} = [190, 100]. x =21[290+90290−90]=[190,100].
- 结果合理，但若噪声更大（如 r ~ = [ 300 , 150 ] \widetilde{\mathbf{r}} = [300, 150] r =[300,150]）：
  x ^ = 1 2 [ 450 150 ] = [ 225 , 75 ] . \widehat{\mathbf{x}} = \frac{1}{2} \begin{bmatrix} 450 \\ 150 \end{bmatrix} = [225, 75]. x =21[450150]=[225,75].
  - 需确保非负（此处已满足）。

2. 优化问题解决步骤

若 x ^ \widehat{\mathbf{x}} x 含负数（例如 x ^ = [ 150 , − 50 ] \widehat{\mathbf{x}} = [150, -50] x =[150,−50]）：

约束条件 ： x ‾ 1 ≥ 0 \overline{x}_1 \geq 0 x1≥0， x ‾ 2 ≥ 0 \overline{x}_2 \geq 0 x2≥0。
目标：最小化 ∥ r ~ − A x ‾ ∥ 1 \| \widetilde{\mathbf{r}} - \mathbf{A}\overline{\mathbf{x}} \|_1 ∥r −Ax∥1。
求解方法 ：使用线性规划或投影梯度下降，找到满足 x ‾ ≥ 0 \overline{\mathbf{x}} \geq 0 x≥0 且最接近 r ~ \widetilde{\mathbf{r}} r 的解。

四、策略矩阵的设计意义

误差优化
- 直接发布原始数据 ：对每个 x i x_i xi 独立加噪，误差随维度线性增长。
- 矩阵机制 ：通过线性组合查询，可能降低全局误差。例如，若 A \mathbf{A} A 正交，噪声在各方向均匀分布，重构误差更小。
敏感度权衡
- 单位矩阵策略 ： A = I \mathbf{A} = \mathbf{I} A=I，敏感度 Δ A = 1 \Delta_\mathbf{A} = 1 ΔA=1，但重构误差与维度相关。
- 聚合查询策略 ：如 A = [ 1 , 1 ] \mathbf{A} = [1, 1] A=[1,1]，敏感度 Δ A = 1 \Delta_\mathbf{A} = 1 ΔA=1，但丢失个体信息。

五、总结

矩阵机制流程：
1. 设计策略矩阵 A \mathbf{A} A 编码查询。
2. 计算敏感度 Δ A \Delta_\mathbf{A} ΔA 并添加拉普拉斯噪声。
3. 通过伪逆矩阵重构初步解 x ^ \widehat{\mathbf{x}} x 。
4. 优化非负约束下的 L 1 L_1 L1 误差，得到最终解 x ‾ \overline{\mathbf{x}} x。
优势：通过矩阵设计平衡隐私与准确性，适用于复杂查询和高维数据发布。
关键点：策略矩阵的敏感度计算、噪声分布分析及带约束优化求解。