Simple ThFHE with poly ratio via Rényi Divergence

参考文献：

1. Renyi61\] Rényi A. On measures of entropy and information\[C\]//Proceedings of the fourth Berkeley symposium on mathematical statistics and probability, volume 1: contributions to the theory of statistics. University of California Press, 1961, 4: 547-562.

2. EH14\] Van Erven T, Harremos P. Rényi divergence and Kullback-Leibler divergence\[J\]. IEEE Transactions on Information Theory, 2014, 60(7): 3797-3820.

3. BDG+19\] Brakerski Z, Döttling N, Garg S, et al. Leveraging linear decryption: Rate-1 fully-homomorphic encryption and time-lock puzzles\[C\]//Theory of Cryptography Conference. Cham: Springer International Publishing, 2019: 407-437.

4. LSSS & MSP
5. Linear Decryption
6. FHE Circuit Privacy
7. Universal Thresholdizer
8. Renyi Entropy & Renyi Divergence

文章目录

• [Distance by Rényi Divergence](#Distance by Rényi Divergence)
• • [Renyi Entropy](#Renyi Entropy)
  • [Renyi Divergence](#Renyi Divergence)
  • [Important Properties](#Important Properties)
  • Others
• [Goldreich-Levin Extractor](#Goldreich-Levin Extractor)
• [Security for ThFHE](#Security for ThFHE)
• • OW-CPA
  • IND-CPA
• [From OW-CPA to IND-CPA](#From OW-CPA to IND-CPA)
• [OW-CPA ThFHE with Polynomial Modulus](#OW-CPA ThFHE with Polynomial Modulus)
• • [From {0,1}-LSSS](#From {0,1}-LSSS)
  • [From PRSSS](#From PRSSS)

BS23\] 在安全定义中使用 Rényi Divergence 替换了原本的 statistical distance，给出了**多项式模数的简单 ThFHE 方案**。由于 Renyi 散度不兼容 IND-CPA 安全性，他们首先构造了 OW-CPA ThFHE，然后再转化为 IND-CPA ThFHE。 ## Distance by Rényi Divergence ### Renyi Entropy \[Renyi61\] 引入一个 order 参数 α ∈ ( 0 , 1 ) ∪ ( 1 , ∞ ) \\alpha \\in (0,1) \\cup (1,\\infty) α∈(0,1)∪(1,∞)，推广了 Shannon entropy。\[EH14\] 汇总了分散在不同文献中的 Renyi entropy 的一些重要性质。 给定某集合 X \\mathcal X X，它的 **σ \\sigma σ-代数** （ σ \\sigma σ-algebra）是幂集 2 X 2\^\\mathcal X 2X 的一个子集，满足：可数个集合在交/并/补运算下的封闭性。**可测空间** （ measurable space）形如 ( X , F ) (\\mathcal X, \\mathcal F) (X,F)，其中 X \\mathcal X X 是一个集合， F ⊆ 2 X \\mathcal F \\subseteq 2\^\\mathcal X F⊆2X 是一个 σ \\sigma σ-代数，元素 A ∈ F A \\in \\mathcal F A∈F 被称为事件（event）。 对于可测空间 ( X , F ) (\\mathcal X, \\mathcal F) (X,F) 上的任意离散分布 P P P，用 S u p p ( P ) Supp(P) Supp(P) 表示它的支撑（也就是 P ( x ) \> 0 P(x)\>0 P(x)\>0 的那些点 x ∈ X x \\in \\mathcal X x∈X），**Renyi entropy** 定义为： H α ( P ) = 1 1 − α log ⁡ ( ∑ x ∈ S u p p ( P ) P ( x ) α ) H_\\alpha(P) = \\frac{1}{1-\\alpha} \\log \\left(\\sum_{x \\in Supp(P)} P(x)\^\\alpha\\right) Hα(P)=1−α1log x∈Supp(P)∑P(x)α 其中 α ∈ ( 0 , 1 ) ∪ ( 1 , ∞ ) \\alpha \\in (0,1) \\cup (1,\\infty) α∈(0,1)∪(1,∞) 被称为 **simple orders** 。额外地，我们给出三个 **extended orders** 及其对应的定义， * 如果 α ↓ 0 \\alpha\\downarrow{0} α↓0，定义 H 0 ( P ) = log ⁡ ∣ S u p p ( P ) ∣ H_0(P) = \\log\|Supp(P)\| H0(P)=log∣Supp(P)∣（**Hartley-entropy**） * 如果 α ↑ 1 \\alpha\\uparrow{1} α↑1，定义 H 1 ( P ) = − ∑ x ∈ S u p p ( P ) P ( x ) log ⁡ P ( x ) H_1(P)=-\\sum_{x \\in Supp(P)} P(x)\\log P(x) H1(P)=−∑x∈Supp(P)P(x)logP(x)（**Shannon-entropy**） * 如果 α ↑ ∞ \\alpha\\uparrow{\\infty} α↑∞，定义 H ∞ ( P ) = − log ⁡ ( max ⁡ x ∈ S u p p ( P ) P ( x ) ) H_\\infty(P) = -\\log\\left(\\max_{x \\in Supp(P)} P(x)\\right) H∞(P)=−log(maxx∈Supp(P)P(x))（**Min-entropy**） 这就补全了 α ∈ \[ 0 , ∞ ) \\alpha \\in \[0,\\infty) α∈\[0,∞) 上的 Renyi entry 的定义。特别地，还有两个 special orders 对应的 Renyi entropy， * 如果 α = 1 / 2 \\alpha=1/2 α=1/2，那么 H 1 / 2 ( P ) = log ⁡ ( ∑ x ∈ S u p p ( P ) P ( x ) 1 / 2 ) 2 H_{1/2}(P) = \\log\\left(\\sum_{x \\in Supp(P)} P(x)\^{1/2}\\right)\^2 H1/2(P)=log(∑x∈Supp(P)P(x)1/2)2 * 如果 α = 2 \\alpha=2 α=2，那么 H 2 ( P ) = − log ⁡ ( ∑ x ∈ S u p p ( P ) P ( x ) 2 ) H_2(P) = -\\log\\left(\\sum_{x \\in Supp(P)} P(x)\^2\\right) H2(P)=−log(∑x∈Supp(P)P(x)2)（**Collision-entropy**） 对于连续可微的分布，可以定义 **differential Rényi entropy** ， h α ( P ) = 1 1 − α log ⁡ ( ∫ P ( x ) α d x ) h_\\alpha(P) = \\frac{1}{1-\\alpha} \\log \\left(\\int P(x)\^\\alpha \\mathrm{d}x\\right) hα(P)=1−α1log(∫P(x)αdx) ### Renyi Divergence 类似于 Shannon entropy 以及 Kullback-Leibler divergence 的关系，我们可以从 Renyi entropy 给出对应的 Renyi divergence，去描述两个分布之间的距离。 对于可测空间 ( X , F ) (\\mathcal X, \\mathcal F) (X,F) 上的任意两个离散分布 P , Q P,Q P,Q，它们满足 S u p p ( P ) ⊆ S u p p ( Q ) Supp(P) \\subseteq Supp(Q) Supp(P)⊆Supp(Q)，我们定义： D α ( P ∥ Q ) = 1 α − 1 log ⁡ ( ∑ x ∈ S u p p ( P ) P ( x ) α Q ( x ) 1 − α ) ,    α ∈ ( 0 , 1 ) ∪ ( 1 , ∞ ) D_\\alpha(P\\\|Q) = \\frac{1}{\\alpha-1}\\log\\left(\\sum_{x \\in Supp(P)} P(x)\^\\alpha Q(x)\^{1-\\alpha}\\right),\\,\\, \\alpha \\in (0,1) \\cup (1,\\infty) Dα(P∥Q)=α−11log x∈Supp(P)∑P(x)αQ(x)1−α ,α∈(0,1)∪(1,∞) 假设 P P P 是有限支撑的，那么 H α ( P ) = H α ( U ( S u p p ( P ) ) ) − D α ( P ∥ U ( S u p p ( P ) ) ) H_\\alpha(P) = H_\\alpha(\\mathcal U(Supp(P))) - D_{\\alpha}(P\\\|\\mathcal U(Supp(P))) Hα(P)=Hα(U(Supp(P)))−Dα(P∥U(Supp(P))) 其中 U ( S u p p ( P ) ) \\mathcal U(Supp(P)) U(Supp(P)) 是均匀分布，并且有 H α ( U ( S u p p ( P ) ) ) = log ⁡ ∣ S u p p ( P ) ∣ H_\\alpha(\\mathcal U(Supp(P))) = \\log \|Supp(P)\| Hα(U(Supp(P)))=log∣Supp(P)∣ 对于三个 extended orders， * 定义 D 0 ( P ∥ Q ) = log ⁡ ( ∑ x ∈ S u p p ( P ) Q ( x ) ) D_0(P\\\|Q) = \\log \\left(\\sum_{x \\in Supp(P)} Q(x)\\right) D0(P∥Q)=log(∑x∈Supp(P)Q(x)) * 定义 D 1 ( P ∥ Q ) = ∑ x ∈ S u p p ( P ) P ( x ) log ⁡ P ( x ) Q ( x ) D_1(P\\\|Q) = \\sum_{x \\in Supp(P)} P(x) \\log \\dfrac{P(x)}{Q(x)} D1(P∥Q)=∑x∈Supp(P)P(x)logQ(x)P(x)（**KL divergence**） * 定义 D ∞ ( P ∥ Q ) = log ⁡ ( sup ⁡ x ∈ S u p p ( P ) P ( x ) Q ( x ) ) D_\\infty(P\\\|Q) = \\log\\left(\\sup_{x \\in Supp(P)}\\dfrac{P(x)}{Q(x)}\\right) D∞(P∥Q)=log(supx∈Supp(P)Q(x)P(x))（**worst-case regret**） 对于两个 special orders， * 定义 **squared Hellinger distance** 为 H e l 2 ( P , Q ) = ∑ x ∈ S u p p ( P ) ⊆ S u p p ( Q ) ( P ( x ) 1 / 2 − Q ( x ) 1 / 2 ) 2 Hel\^2(P,Q)=\\sum_{x \\in Supp(P) \\subseteq Supp(Q)}\\left(P(x)\^{1/2}-Q(x)\^{1/2}\\right)\^2 Hel2(P,Q)=∑x∈Supp(P)⊆Supp(Q)(P(x)1/2−Q(x)1/2)2，那么有 D 1 / 2 ( P ∥ Q ) = − 2 log ⁡ ( 1 − H e l 2 ( P , Q ) 2 ) D_{1/2}(P\\\|Q) = -2\\log\\left(1-\\dfrac{Hel\^2(P,Q)}{2}\\right) D1/2(P∥Q)=−2log(1−2Hel2(P,Q)) * 定义 **χ 2 \\chi\^2 χ2-divergence** 为 χ 2 ( P , Q ) = ∑ x ∈ S u p p ( P ) ( P ( x ) − Q ( x ) ) 2 Q ( x ) \\chi\^2(P,Q)=\\sum_{x\\in Supp(P)} \\dfrac{(P(x)-Q(x))\^2}{Q(x)} χ2(P,Q)=∑x∈Supp(P)Q(x)(P(x)−Q(x))2，那么有 D 2 ( P ∥ Q ) = log ⁡ ( 1 + χ 2 ( P , Q ) ) D_2(P\\\|Q) = \\log\\left(1+\\chi\^2(P,Q)\\right) D2(P∥Q)=log(1+χ2(P,Q)) 它的连续可微形式，定义为： D α ( P ∥ Q ) = 1 α − 1 log ⁡ ( ∫ P ( x ) α Q ( x ) 1 − α d x ) D_\\alpha(P\\\|Q) = \\frac{1}{\\alpha-1}\\log\\left(\\int P(x)\^\\alpha Q(x)\^{1-\\alpha}\\mathrm{d}x\\right) Dα(P∥Q)=α−11log(∫P(x)αQ(x)1−αdx) ### Important Properties Renyi 散度的两个参数 P , Q P,Q P,Q 是分布本身；给定它们，Renyi 散度是个确定的值。 Renyi 散度关于 α \\alpha α 的**单调性**：  Renyi 散度关于 α \\alpha α 的**连续性**：  下面考虑在固定 α \\alpha α 的 Renyi 散度的性质。假设 P P P 是可测空间 ( X , F ) (\\mathcal X,\\mathcal F) (X,F) 上的测度（measure），使用 P ∣ G P\|_\\mathcal G P∣G 表示限制在 **sub- σ \\sigma σ-algebra** G ⊆ F \\mathcal G \\subseteq \\mathcal F G⊆F 上面（视为边际分布）。如果两个测度 P , Q P,Q P,Q 满足 ∀ A ∈ F , Q ( A ) = 0 ⇒ P ( A ) = 0 \\forall A \\in \\mathcal F, Q(A)=0 \\Rightarrow P(A)=0 ∀A∈F,Q(A)=0⇒P(A)=0（换句话说 S u p p ( P ) ⊆ S u p p ( Q ) Supp(P) \\subseteq Supp(Q) Supp(P)⊆Supp(Q)），我们称 P P P 是关于 Q Q Q **绝对连续的** （absolutely continuous），记为 P ≪ Q P \\ll Q P≪Q。如果两个测度 P , Q P,Q P,Q 满足 ∃ A ∈ F , P ( A ) = 0 ∧ Q ( X \\ A ) = 0 \\exists A \\in \\mathcal F, P(A)=0 \\wedge Q(\\mathcal X\\backslash A)=0 ∃A∈F,P(A)=0∧Q(X\\A)=0，我们称 P P P 和 Q Q Q 是**相互奇异的** （mutually singular），记为 P ⊥ Q P \\perp Q P⊥Q。假设对于某个 **common σ \\sigma σ-finite measure** μ \\mu μ，两个概率测度 P , Q ≪ μ P,Q\\ll \\mu P,Q≪μ ，令 p , q p,q p,q 是相关的密度函数，Renyi 散度中的积分写作 ∫ p ( x ) α q ( x ) 1 − α d μ ( x ) \\int p(x)\^{\\alpha}q(x)\^{1-\\alpha}\\mathrm{d}\\mu(x) ∫p(x)αq(x)1−αdμ(x)。 Renyi 散度的**非负性**：  Renyi 散度的**数据处理不等式**：  Renyi 散度的良好近似：  Renyi 散度**在固定的较小 α \\alpha α 下的凸性**，  对于更大的 α \> 1 \\alpha \>1 α\>1，Renyi 散度**对于第一参数不再是凸的**，如图所示  但是 Renyi 散度**对于第二参数总是凸的**，  对于弱化的 "**拟凸性**"，Renyi 散度总是满足的，  定义**分布的混合** ，以及**分布的凸集**，  那么 Renyi 散度满足**推广的三角不等式**，  Renyi 散度的**反对称性**，  在较小 α \\alpha α 下，Renyi 散度的**一致连续性** （只要 x , y x,y x,y 足够接近，那么 f ( x ) , f ( y ) f(x),f(y) f(x),f(y) 也就足够接近），  固定第一参数，Renyi 散度**对于第二参数的连续性**，  ### Others \[BS23\] 使用 D α D_\\alpha Dα 的一个变形（它的指数函数）， R D α ( P , Q ) = ( ∑ x ∈ S u p p ( P ) P ( x ) α Q ( x ) α − 1 ) 1 α − 1 ,    α \> 1 RD_\\alpha(P,Q) = \\left(\\sum_{x\\in Supp(P)} \\frac{P(x)\^\\alpha}{Q(x)\^{\\alpha-1}}\\right)\^{\\frac{1}{\\alpha-1}},\\,\\, \\alpha\>1 RDα(P,Q)= x∈Supp(P)∑Q(x)α−1P(x)α α−11,α\>1 它具有如下的性质：  那么，某个分布及其偏移的 Renyi 散度为：  ## Goldreich-Levin Extractor 使用 s d i s t ( X , Y ) = max ⁡ T ∣ Pr ⁡ \[ T ( X ) = 1 \] − Pr ⁡ \[ T ( Y ) = 1 \] ∣ sdist(X,Y) = \\max_T \|\\Pr\[T(X)=1\]-\\Pr\[T(Y)=1\]\| sdist(X,Y)=maxT∣Pr\[T(X)=1\]−Pr\[T(Y)=1\]∣ 表示两个分布的**统计距离** （statistical distance），其中 T T T 是任意电路。使用 c d i s t s ( X , Y ) cdist_s(X,Y) cdists(X,Y) 表示在任意的规模 s s s 电路下的**计算距离** （computational distance）。**概率保护** （probability preservation property）说的是 X ( E ) ≤ Y ( E ) + s d i s t ( X , Y ) , ∀ E ∈ F X(E) \\le Y(E)+sdist(X,Y), \\forall E \\in \\mathcal F X(E)≤Y(E)+sdist(X,Y),∀E∈F，计算距离同理。 定义 "不可预测熵"，  假设 OWF/OWP 存在，那么就可以构造出携带 hard-core 的 OWF/OWP。\[BS23\] 将多个 **Goldreich-Levin Hard-core** 的构造级联起来，于是从 OWF 中获得不可预测性（已知 OWF 的像，无法预测出它的 hard-core）：  ## Security for ThFHE ThFHE 的定义，以及 Circuit Privacy 的定义，请看[这里](https://blog.csdn.net/weixin_44885334/article/details/138443315)。ThFHE 的属性 compactness 和 correctness 的定义，请看[这里](https://blog.csdn.net/weixin_44885334/article/details/138418171)。此外 \[BS23\] 还定义了两个鲁棒性。 **CCA 下的弱鲁棒性**：  **CPA 下的强鲁棒性**：  ### OW-CPA 为了兼容 Renyi 散度，\[BS23\] 给出了基于游戏的 OW-CPA 安全性的定义：   这里的敌手可以自适应地按照任意顺序访问三个神谕。 ### IND-CPA \[BS23\] 没有给出基于模拟的模拟安全，只给出了基于游戏的语义安全：   这里的敌手可以自适应地按照任意顺序访问三个神谕。\[BGG+18\] 同时给出了语义安全（不泄露任意的一比特）和模拟安全（不额外泄露任何信息），但是敌手访问神谕的顺序被固定。 ## From OW-CPA to IND-CPA \[BS23\] 使用 Renyi 散度作为分布之间距离的测度，他们首先构建 OW-CPA ThFHE，然后将它转换为 IND-CPA ThFHE。注意 OW 是比 IND 更强的假设，有归约 I N D ≤ O W IND \\le OW IND≤OW，因此：满足 IND-CPA 一定也满足 OW-CPA，但是满足 OW-CPA 就不一定满足 IND-CPA。 \[BS23\] 把底层 OW-CPA ThFHE 的加密算法作为 **OWF** ，使用 Goldreich-Levin Extractor 从中获取 **hard-core** ，使用它的不可预测性对消息做 one-time pad，从而获得 IND-CPA ThFHE 方案。这个转换过程是在**标准模型**下的。具体的构造如下：  它的密文扩展比（Ciphertext Expansion Rotio）是 ∣ c t ∣ ∣ m ∣ = ∣ c 0 ∣ + δ ( γ + 1 ) δ \\dfrac{\|ct\|}{\|m\|} = \\dfrac{\|c_0\|+\\delta(\\gamma+1)}{\\delta} ∣m∣∣ct∣=δ∣c0∣+δ(γ+1)，其中 ∣ c 0 ∣ \|c_0\| ∣c0∣ 的规模和底层 OW-CPA ThFHE 的密文扩展比有关。随着 δ \\delta δ 增大（在保证 hard-core 不可预测的前提下），获得的 IND-CPA ThFHE 的密文扩展比就越好。在 ROM 下，可以使用 seed + PRG 来生成全部的 s j s_j sj，从而减小密文规模。 \[BS23\] 给出了安全归约，它要求底层 OW-CPA ThFHE 是电路隐私的，  如果设置 ϵ = 2 − 128 \\epsilon=2\^{-128} ϵ=2−128，那么对于 δ = 118 \\delta=118 δ=118 以及 γ = 512 \\gamma=512 γ=512，需要 λ = 512 \\lambda=512 λ=512，即每加密 118 118 118 比特消息，就需要使用 OW-CPA ThFHE 去加密 512 512 512 比特的随机数。他们说这个归约不紧，适当减小 λ \\lambda λ 并不会带来显著的弱点。 ## OW-CPA ThFHE with Polynomial Modulus 类似于 \[BDG+19\]，我们考虑线性解密的底层 FHE 方案，  我们还需要底层 FHE 是 IND-CPA 安全的，并且是多项式模数的，\[BV14\] 构造的 GSW for 5-PBP 满足这些要求，FHEW/TFHE 应该也是满足的。 ### From {0,1}-LSSS 直接使用 \[BDG+19\] 的构造方法，需要的部件是：  具体的构造方法及其安全性：  在这里的安全归约中，使用 Renyi 散度作为分布之间距离的度量。 由于获得的 ThFHE 需要满足 one-way 安全性，因此它的明文空间的规模 ∣ M ⊆ R p ∣ \|\\mathcal M \\subseteq R_p\| ∣M⊆Rp∣ 应该是安全参数 λ \\lambda λ 的超多项式。如果底层 IND-CPA FHE 只具有较小的明文空间 M \\mathcal M M， 那么可以分别加密 k k k 个独立的消息，那么 ∣ M k ∣ \|\\mathcal M\^k\| ∣Mk∣ 就满足此要求。 选取 D s i m = D s i m \\mathcal D_{sim}=\\mathcal D_{sim} Dsim=Dsim 都是标准差 σ \\sigma σ 的高斯分布，那么 ϵ R D α = R D α ( D s i m + β f h e ∥ D s i m ) ≤ exp ⁡ ( α β f h e 2 2 σ 2 ) \\epsilon_{RD_\\alpha} = RD_\\alpha(\\mathcal D_{sim}+\\beta_{fhe}\\\|\\mathcal D_{sim}) \\le \\exp\\left(\\frac{\\alpha\\beta_{fhe}\^2}{2\\sigma\^2}\\right) ϵRDα=RDα(Dsim+βfhe∥Dsim)≤exp(2σ2αβfhe2) 将它带入安全归约的不等式，得到： λ T h F H E ≥ α − 1 α λ F H E − l d ( n L − τ max ⁡ ) ( α − 1 ) ⋅ α β f h e 2 2 σ 2 ⋅ log ⁡ e \\lambda_{ThFHE} \\ge \\frac{\\alpha-1}{\\alpha}\\lambda_{FHE} - ld(nL-\\tau_{\\max})(\\alpha-1)\\cdot \\frac{\\alpha\\beta_{fhe}\^2}{2\\sigma\^2} \\cdot \\log e λThFHE≥αα−1λFHE−ld(nL−τmax)(α−1)⋅2σ2αβfhe2⋅loge **如果设置 α = λ F H E \\alpha=\\lambda_{FHE} α=λFHE，选择参数 σ \\sigma σ 满足 σ = O ( β f h e l d ( n l − τ max ⁡ ) ( α − 1 ) ) \\sigma=O\\left(\\beta_{fhe}\\sqrt{ld(nl-\\tau_{\\max})(\\alpha-1)}\\right) σ=O(βfheld(nl−τmax)(α−1) )，并且选择参数 q , β f h e q,\\beta_{fhe} q,βfhe 使得解密正确** 。那么，就有 λ T h F H E ≥ λ F H E − ( 1 + log ⁡ e 2 ) \\lambda_{ThFHE} \\ge \\lambda_{FHE}-\\left(1+\\frac{\\log e}{2}\\right) λThFHE≥λFHE−(1+2loge)，安全损失是个小常数。这里的阶 α \\alpha α 是对洪泛噪声规模 σ \\sigma σ 以及安全损失的权衡：越小的 α \\alpha α，则安全损失增大，洪泛噪声减小。如果敌手询问次数 l l l、参与方数量 n n n、LSSS 的 shares 长度 L L L 都是多项式的，那么方差 σ \\sigma σ 也是多项式的，**底层的 FHE 只需要多项式的密文模数**。 ### From PRSSS \[CDI05\] 提出了 **Pseudorandom secret sharing**（PRSS），它可以首先执行一个分发 PRF 密钥的 Setup 阶段，然后各个参与方就可以非交互地生成伪随机数的 SS。具体构造为：  \[CDI05\] 提出了 **Share conversion** 技术，他们证明：可以通过简单的线性变换，把 Replicated SSS 转化为具有相同访问结构的其他任意的 LSSS，例如 Shamir SSS（对于 TAS，它的 SS 规模较小）。 OW-CPA ThFHE 的构造为：