群卷积:从“方向骰子“到几何人工智能

一、引言

我最近在《数学文化》第17卷第2期上发表了一篇文章**《卷积:从掷骰子到人工智能的数学之旅》**1^\text{1}1,其核心思想是:卷积并非信号处理教材里那个"翻转---滑动---加权叠加 "的奇怪规则,它本质上就是计算"两个独立随机变量之和的分布"。掷两颗骰子,问点数和为7的概率是多少?把所有能凑成7的配对找出来,概率相乘再相加------这就是卷积。理解了这一点,翻转、滑动、加权叠加这套操作就全都有了自然的解释。

那篇文章讲的是普通卷积------即定义在数轴(或整数格点)上的卷积。但卷积这个概念并不局限于数轴。事实上,只要有一个"合并两个东西"的运算规则,就可以定义相应的卷积。骰子点数用的是加法,但合并两个东西的方式也可以是旋转、平移,或者更一般的变换。这引导我们走向了一个更广阔的概念------群卷积(Group Convolution)。

群卷积正是几何深度学习 (Geometric Deep Learning)最核心的数学工具之一2^\text{2}2。它让神经网络能够"理解"物理世界的旋转、平移和对称性,从而在分子动力学、3D视觉、蛋白质结构预测等领域展现出惊人的效果。

要真正理解群卷积如何落地到这些应用中,仅仅知道"复合固定"还不够。我们还需要引入另外三个紧密相关的数学概念------李群、李代数、李括号。它们共同构成了从"群卷积的直觉"到"可计算的神经网络"之间的完整桥梁。下面我们就来一层层揭开它们的关系。

二、从普通骰子到"方向骰子"

普通骰子的每个面是一个数字。现在设想一种升级版的骰子------它的每个面不是数字,而是一个旋转角度 。最简单的情况:考虑平面内的旋转,骰子的六个面分别对应绕中心旋转 0∘0^\circ0∘、60∘60^\circ60∘、120∘120^\circ120∘、180∘180^\circ180∘、240∘240^\circ240∘、300∘300^\circ300∘。我们称它为"方向骰子"。

这里的关键假设是:两颗方向骰子的旋转轴不一定相同。 比如骰子 AAA 的六个面是绕 XXX 轴旋转不同角度,骰子 BBB 的六个面是绕 YYY 轴旋转不同角度。正是因为旋转轴不同(或不固定),旋转的复合才不可交换,群卷积才真正体现出与普通卷积的本质差异。如果两颗骰子绕同一根轴旋转,那就退化为普通的角度加减,群卷积也就变回了普通卷积。

现在同时掷两颗这样的方向骰子 AAA 和 BBB。规则是:先做 AAA 的旋转,再做 BBB 的旋转。问:总旋转恰好为 180∘180^\circ180∘ 的概率是多少?

计算方法与普通骰子如出一辙。把所有配对 (θA,θB)(\theta_A, \theta_B)(θA,θB) 找出来,使得"先转 θA\theta_AθA、再转 θB\theta_BθB"等于总旋转 180∘180^\circ180∘,然后将每对的概率相乘,再累加。

唯一的区别在于配对条件。普通骰子的配对条件是:

θA+θB=180∘ \theta_A + \theta_B = 180^\circ θA+θB=180∘

而方向骰子的配对条件是:

θA∘θB=180∘ \theta_A \circ \theta_B = 180^\circ θA∘θB=180∘

其中 ∘\circ∘ 表示旋转的复合操作 。在数学上,旋转的复合就是矩阵乘法。这个小小的改变,正是普通卷积与群卷积的分水岭。

普通卷积是"和固定",群卷积是"复合固定"。

普通卷积里的"翻转"对应方向骰子里的什么操作?在普通骰子中,为了凑和为7,我们把第二颗骰子的点数顺序翻转过来(6,5,4,3,2,1),与第一颗骰子(1,2,3,4,5,6)一一对齐。在方向骰子中,给定总旋转 ggg 和第一个旋转 aaa,第二个旋转必须是:

b=a−1∘g b = a^{-1} \circ g b=a−1∘g

即"先做 aaa 的逆变换,再做 ggg"。这取代了普通数轴上的减法 z−xz - xz−x。在数轴上,z−x=z+(−x)z - x = z + (-x)z−x=z+(−x),其中 −x-x−x 是 xxx 的加法逆元;在群上,a−1∘ga^{-1} \circ ga−1∘g 是 aaa 的逆元与 ggg 的复合。结构完全一致,只是把"加法群 "换成了"旋转群"。

这个简单的推广揭示了一个深刻的数学事实:

卷积的运算规则是"配对加权求和"。至于配对的条件是"和为定值"还是"复合为定值",取决于底层的代数结构。

三、群卷积的数学定义

有了上面的直观,群卷积的公式就顺理成章了。

普通离散卷积 (定义在整数加法群 Z\mathbb{Z}Z 上):

(f∗g)(n)=∑k∈Zf(k)⋅g(n−k) (f * g)(n) = \sum_{k \in \mathbb{Z}} f(k) \cdot g(n - k) (f∗g)(n)=k∈Z∑f(k)⋅g(n−k)

群卷积 (定义在一般群 GGG 上):

(f∗g)(h)=∑k∈Gf(k)⋅g(k−1∘h) (f * g)(h) = \sum_{k \in G} f(k) \cdot g(k^{-1} \circ h) (f∗g)(h)=k∈G∑f(k)⋅g(k−1∘h)

其中 k−1k^{-1}k−1 是 kkk 在群 GGG 中的逆元,∘\circ∘ 是群的乘法运算。当 GGG 是连续群 (如旋转群 SO(3)SO(3)SO(3))时,求和变为积分:

(f∗g)(h)=∫Gf(k)⋅g(k−1∘h) dμ(k) (f * g)(h) = \int_{G} f(k) \cdot g(k^{-1} \circ h) \, d\mu(k) (f∗g)(h)=∫Gf(k)⋅g(k−1∘h)dμ(k)

这里的积分使用哈尔测度 (Haar measure)------它是群上唯一(在某种意义上)的"均匀"积分方式,可以理解为普通积分的 dxdxdx 在群上的推广。

核心洞察 :普通卷积是群卷积在 G=(R,+)G = (\mathbb{R}, +)G=(R,+) 时的特例。因为此时 k−1∘h=−k+h=h−kk^{-1} \circ h = -k + h = h - kk−1∘h=−k+h=h−k,求和变为积分,完美还原。

四、从群到李群:连续对称性的数学语言

方向骰子只有六个离散的旋转角度,但物理世界中的旋转是连续 的------分子可以旋转任意角度,不只是 60∘60^\circ60∘ 的倍数。描述连续旋转的数学结构,就是李群(Lie Group)。

4.1 李群是什么

李群 是一个同时具有群结构光滑流形结构的数学对象。通俗地说,它既是一个可以"复合"和"求逆"的代数结构,又是一个可以"连续滑动"的几何空间。

三维空间中的所有旋转组成的集合 SO(3)SO(3)SO(3)(Special Orthogonal Group in 3D)是最重要的李群之一。它包含所有满足行列式为1的正交 3×33\times 33×3 矩阵。每一个这样的矩阵对应一个旋转操作。

李群的"连续滑动"性质意味着:我们可以从单位元(即"不旋转")出发,沿着某个方向连续地旋转任意小的角度。这就引出了李代数。

4.2 李代数:李群的"局部线性化"

李代数 是李群在单位元处的切空间 ,记作 g\mathfrak{g}g。它是一个线性空间,因此可以做加法、数乘,可以方便地进行计算。

对于旋转群 SO(3)SO(3)SO(3),其李代数 so(3)\mathfrak{so}(3)so(3) 由所有 3×33\times 33×3 反对称矩阵组成:

Ω=(0−ω3ω2ω30−ω1−ω2ω10) \Omega = \begin{pmatrix} 0 & -\omega_3 & \omega_2 \\ \omega_3 & 0 & -\omega_1 \\ -\omega_2 & \omega_1 & 0 \end{pmatrix} Ω= 0ω3−ω2−ω30ω1ω2−ω10

这个矩阵只有三个独立参数 ω=(ω1,ω2,ω3)\omega = (\omega_1, \omega_2, \omega_3)ω=(ω1,ω2,ω3),它们正好编码了旋转轴和旋转角度 的信息:ω\omegaω 的方向是旋转轴,长度是旋转角度。

为什么李代数如此重要?因为它是线性的

在群卷积中,我们需要在群上"滑动"卷积核。但如果直接在 SO(3)SO(3)SO(3) 上做滑动------即在弯曲的旋转流形上移动------数学上极其困难:矩阵乘法不可交换,不能简单地做加法。而李代数提供了一个解决方法:

  • 李代数 (平直空间)中做线性移动:ω→ω+Δω\omega \to \omega + \Delta\omegaω→ω+Δω
  • 通过指数映射(Exponential Map)将移动后的李代数元素"贴"回李群:

R=exp⁡(Ω)=I+Ω+12!Ω2+13!Ω3+⋯ R = \exp(\Omega) = I + \Omega + \frac{1}{2!}\Omega^2 + \frac{1}{3!}\Omega^3 + \cdots R=exp(Ω)=I+Ω+2!1Ω2+3!1Ω3+⋯

这个级数看起来复杂,但对于反对称矩阵,它可以简化为罗德里格斯公式(Rodrigues' formula):

R=I+sin⁡θθΩ+1−cos⁡θθ2Ω2 R = I + \frac{\sin\theta}{\theta}\Omega + \frac{1 - \cos\theta}{\theta^2}\Omega^2 R=I+θsinθΩ+θ21−cosθΩ2

其中 θ=∥ω∥\theta = \|\omega\|θ=∥ω∥ 是旋转角度。

罗德里格斯公式的推导 :设 u=ω/θu = \omega/\thetau=ω/θ 为单位旋转轴,UUU 为对应的反对称矩阵。反对称矩阵有一个漂亮的性质:U3=−UU^3 = -UU3=−U。利用这个循环关系,将指数级数 exp⁡(θU)=I+θU+θ22!U2+θ33!U3+⋯\exp(\theta U) = I + \theta U + \frac{\theta^2}{2!}U^2 + \frac{\theta^3}{3!}U^3 + \cdotsexp(θU)=I+θU+2!θ2U2+3!θ3U3+⋯ 按 UUU 和 U2U^2U2 分组,UUU 的系数为 sin⁡θ\sin\thetasinθ,U2U^2U2 的系数为 1−cos⁡θ1 - \cos\theta1−cosθ,即得 R=I+(sin⁡θ)U+(1−cos⁡θ)U2R = I + (\sin\theta)U + (1 - \cos\theta)U^2R=I+(sinθ)U+(1−cosθ)U2。再把 U=Ω/θU = \Omega/\thetaU=Ω/θ 代回,就得到上面的公式。这个公式最早由欧拉 在1775年左右发现,而法国数学家罗德里格斯(Rodrigues,1795--1851)在1840年给出了更明确的矩阵表达式,因此以他的名字命名。

Benjamin Olinde Rodrigues

反过来,给定一个旋转矩阵 RRR,我们可以通过对数映射(Logarithmic Map)将它"拉回"到李代数:

ω=log⁡(R) \omega = \log(R) ω=log(R)

具体地,旋转角度由矩阵的迹给出:

θ=arccos⁡(tr(R)−12) \theta = \arccos\left(\frac{\text{tr}(R) - 1}{2}\right) θ=arccos(2tr(R)−1)

为什么迹能给出角度?我们从罗德里格斯公式出发:

R=I+(sin⁡θ)U+(1−cos⁡θ)U2 R = I + (\sin\theta)U + (1 - \cos\theta)U^2 R=I+(sinθ)U+(1−cosθ)U2

两边同时取迹,利用迹的线性性质 tr(A+B)=tr(A)+tr(B)\text{tr}(A+B)=\text{tr}(A)+\text{tr}(B)tr(A+B)=tr(A)+tr(B):

tr(R)=tr(I)+sin⁡θ⋅tr(U)+(1−cos⁡θ)⋅tr(U2) \text{tr}(R) = \text{tr}(I) + \sin\theta \cdot \text{tr}(U) + (1 - \cos\theta) \cdot \text{tr}(U^2) tr(R)=tr(I)+sinθ⋅tr(U)+(1−cosθ)⋅tr(U2)

逐项计算:

  • tr(I)=3\text{tr}(I) = 3tr(I)=3
  • tr(U)=0\text{tr}(U) = 0tr(U)=0(反对称矩阵对角线为零)
  • tr(U2)=−2\text{tr}(U^2) = -2tr(U2)=−2(因为 U2=uu⊤−IU^2 = uu^\top - IU2=uu⊤−I,其迹为 1−3=−21 - 3 = -21−3=−2)

代入得:

tr(R)=3+0+(1−cos⁡θ)⋅(−2)=1+2cos⁡θ \text{tr}(R) = 3 + 0 + (1 - \cos\theta) \cdot (-2) = 1 + 2\cos\theta tr(R)=3+0+(1−cosθ)⋅(−2)=1+2cosθ

所以 cos⁡θ=(tr(R)−1)/2\cos\theta = (\text{tr}(R) - 1)/2cosθ=(tr(R)−1)/2,反解即得 θ=arccos⁡((tr(R)−1)/2)\theta = \arccos((\text{tr}(R) - 1)/2)θ=arccos((tr(R)−1)/2)。这个推导说明:旋转矩阵的迹只依赖于旋转角度 θ\thetaθ,与旋转轴 uuu 的方向无关------这正是我们能够从迹反推出角度的根本原因。

图1:旋转矩阵的迹与旋转角度的关系。左图展示 tr(R)=1+2cos⁡θ\text{tr}(R) = 1 + 2\cos\thetatr(R)=1+2cosθ 在 0,π0, \\pi0,π 上的曲线,可见迹只依赖于旋转角度 θ\thetaθ,与旋转轴的方向无关。右图展示对数映射的核心操作:给定旋转矩阵的迹后,通过 arccos⁡\arccosarccos 反推出旋转角度。例如当 tr(R)=0.5\text{tr}(R) = 0.5tr(R)=0.5 时,反推得到 θ≈75.5∘\theta \approx 75.5^\circθ≈75.5∘。图中标注了 0∘0^\circ0∘、90∘90^\circ90∘、180∘180^\circ180∘ 等关键角度对应的迹值(分别为3、1、-1)。特殊情况:θ=0\theta=0θ=0 时迹为3,θ=180∘\theta=180^\circθ=180∘ 时迹为-1。

旋转轴则由矩阵的反对称部分提取:

U=R−R⊤2sin⁡θ,即ω=θ⋅轴向量 U = \frac{R - R^\top}{2\sin\theta}, \quad \text{即} \quad \omega = \theta \cdot \text{轴向量} U=2sinθR−R⊤,即ω=θ⋅轴向量

因为罗德里格斯公式中,反对称部分 (sin⁡θ)U(\sin\theta)U(sinθ)U 单独包含了轴的信息。一句话总结:迹给出角度,反对称部分给出轴。 旋转矩阵的迹只依赖旋转角,不依赖旋转轴;而矩阵减去它的转置,刚好把"轴×角度"的信息单独拎了出来。

需要注意两个特殊情况:

  • 当 θ=0\theta = 0θ=0(即 R=IR = IR=I,没有旋转)时,tr(R)=3\text{tr}(R) = 3tr(R)=3,公式给出 θ=0\theta = 0θ=0。此时 R−R⊤=0R - R^\top = 0R−R⊤=0,无法提取轴------但既然没有旋转,轴也无意义。
  • 当 θ=π\theta = \piθ=π(旋转180°)时,tr(R)=−1\text{tr}(R) = -1tr(R)=−1,sin⁡θ=0\sin\theta = 0sinθ=0,公式中的除法 / (2\\sin\\theta) 失效。此时需要特殊处理:旋转180°的矩阵可写成 R=2uu⊤−IR = 2uu^\top - IR=2uu⊤−I,可以从 RRR 的对角元或特征向量中提取旋转轴 uuu。

图2:李群与李代数的几何关系。球面代表李群 SO(3)SO(3)SO(3) 流形(全局,非线性),球面北极的切平面代表李代数 so(3)\mathfrak{so}(3)so(3)(局部,线性)。单位元 eee 在球面北极。李代数元素 ω\omegaω 在切平面上,通过指数映射 exp⁡\expexp "贴"到球面上成为李群元素 exp⁡(ω)\exp(\omega)exp(ω);反过来,对数映射 log⁡\loglog 将球面上的点"拉回"切平面。虚线经线示意沿群流形的连续滑动。所有数值计算(滑动、插值、梯度下降)都在切平面(李代数)上完成,再通过指数映射回到流形(李群)。

这就是群卷积在数值计算中的核心操作:在弯曲的李群上定义问题,但所有实际的滑动、移动、插值、梯度下降,都在平直的李代数上完成。

李群(全局) 李代数(局部)
空间类型 弯曲流形(非线性) 平直向量空间(线性)
运算 群乘法(非交换) 加法、数乘
对应操作 具体的旋转矩阵 轴角编码的旋转向量
映射关系 指数映射 exp⁡:g→G\exp: \mathfrak{g} \to Gexp:g→G 对数映射 log⁡:G→g\log: G \to \mathfrak{g}log:G→g
在群卷积中的作用 定义数据的对称空间 实际执行计算和优化

4.3 李括号:非交换性的度量

李代数上有一个自然的二元运算,称为李括号 (Lie Bracket),记作 A,BA, BA,B。对于矩阵李代数,李括号就是矩阵的换位子:

A,B=AB−BA A, B = AB - BA A,B=AB−BA

李括号衡量的正是"两个操作顺序交换带来的差异"------这正是我们之前在方向骰子中看到的"旋转顺序不能交换"现象的精确数学表达。

举个例子:想象一个咖啡杯。你把它绕X轴转一个小角度,再绕Y轴转一个小角度。如果你把顺序反过来------先绕Y轴再绕X轴------最终的朝向会差多少?那个"差值"就是李括号 A,BA, BA,B

  • 如果 A,B=0A, B = 0A,B=0,说明两个旋转可交换(比如绕同一个轴转两次)。
  • 如果 A,B≠0A, B \neq 0A,B=0,说明顺序敏感(绝大多数3D旋转都是如此)。

在群卷积的消息传递过程中,当网络聚合来自多个邻居原子的信息时,不同方向的旋转信息会产生耦合。李括号告诉我们应该如何修正这种"顺序效应",确保聚合后的结果仍然在正确的变换规则之下。

4.4 泊松括号:物理量的动态关系

在物理学中,特别是哈密顿力学 里,有一个与李括号密切相关的概念------泊松括号 (Poisson Bracket)。对于两个物理量 fff 和 ggg(它们是相空间上的函数),泊松括号定义为:

{f,g}=∑i(∂f∂qi∂g∂pi−∂f∂pi∂g∂qi) \{f, g\} = \sum_i \left( \frac{\partial f}{\partial q_i} \frac{\partial g}{\partial p_i} - \frac{\partial f}{\partial p_i} \frac{\partial g}{\partial q_i} \right) {f,g}=i∑(∂qi∂f∂pi∂g−∂pi∂f∂qi∂g)

其中 qiq_iqi 是广义坐标,pip_ipi 是广义动量。

泊松括号与李括号有着深刻的联系。从数学结构上看,泊松括号是李括号在函数空间上的推广。李括号作用在"变换"(如旋转矩阵)上,衡量的是操作的"非交换性";泊松括号作用在"物理量"上,衡量的是物理量之间的"关联性"。

在哈密顿力学中,任何一个物理量 fff 随时间的演化由下式给出:

dfdt={f,H} \frac{df}{dt} = \{f, H\} dtdf={f,H}

其中 HHH 是系统的哈密顿量(总能量)。这个方程描述了物理量如何随时间演化。

在分子动力学的机器学习模型中,我们需要神经网络预测的原子位置和动量满足这个演化方程。具体来说,保证能量守恒 等价于保证 {H,H}=0\{H, H\} = 0{H,H}=0(能量与自身的泊松括号为零),保证动量守恒等价于保证位置和动量的泊松括号满足正则对易关系。

李括号 泊松括号
作用对象 李代数元素(变换/旋转) 相空间上的函数(物理量)
运算形式 A,B=AB−BAA, B = AB - BAA,B=AB−BA {f,g}=∑(∂qf∂pg−∂pf∂qg)\{f, g\} = \sum (\partial_q f \partial_p g - \partial_p f \partial_q g){f,g}=∑(∂qf∂pg−∂pf∂qg)
衡量什么 操作的"非交换性" 物理量之间的"关联性"
在几何深度学习中的作用 修正多体交互中的"顺序效应" 约束网络输出满足物理守恒律

4.5 四者的关系

现在我们有了四个概念:群卷积、李群、李代数、李括号(含泊松括号)。它们之间的关系可以总结如下:

群卷积定义了对"变换复合"做卷积的框架。李群描述了变换的全局结构。李代数提供了在局部进行线性计算(滑动、插值、梯度下降)的工具。李括号(以及其推广泊松括号)则确保了在多体交互和时间演化中,操作顺序带来的"非交换性"被正确处理,物理守恒律被严格满足。

用一句更通俗的话说:

群卷积是"招式",李群是"战场",李代数是"武器",李括号/泊松括号是"兵法"------四者缺一不可,共同构成了几何深度学习处理物理世界数据的完整数学基础。

五、不可约表示与Clebsch--Gordan系数

前面我们讨论了李群和李代数如何在几何深度学习中发挥作用。但要把群卷积真正实现在计算机上,还需要两个更具体的数学工具------不可约表示Clebsch--Gordan系数。它们在群卷积的频域实现中扮演着核心角色。

5.1 不可约表示:把抽象变换"翻译"成矩阵

不可约表示 (Irreducible Representation,常简称 irrep)的核心思想是:把一个抽象群里的元素(比如旋转 90∘90^\circ90∘ 这个操作),映射成一个具体的、可计算的矩阵,而且这个映射要保留群的乘法结构。

这个映射不是随便选的。它要求:如果群里有 g1∘g2=g3g_1 \circ g_2 = g_3g1∘g2=g3,那么对应的矩阵也必须满足 D(g1)×D(g2)=D(g3)D(g_1) \times D(g_2) = D(g_3)D(g1)×D(g2)=D(g3)。也就是说,群元素怎么复合,矩阵就怎么相乘。这种保留了乘法结构的映射,就叫群的"表示"。

至于"不可约",意思是这个表示是最基本的、无法再拆分的"积木块"。任何更复杂的表示都可以由这些不可约表示组合而成。这就像整数可以分解为质数的乘积,不可约表示就是群表示理论里的"质数"。

为什么它在几何深度学习中这么重要?

因为它给了我们一把"尺子",用来度量特征在旋转下会怎样变化 。在分子数据里,每个原子周围的环境信息(比如邻居的方向)可以用球谐函数 YlmY_l^mYlm 来分解。而球谐函数 YlmY_l^mYlm 在旋转下,恰好就按照 lll 阶的不可约表示来变换。

  • 一个标量 (如原子距离)是 l=0l=0l=0 的表示------旋转它也不变。
  • 一个向量 (如受力方向)是 l=1l=1l=1 的表示------它像普通三维向量一样跟着旋转。
  • 更复杂的几何信息(如分子的局域曲率)会落到 l=2,3,...l=2, 3, \dotsl=2,3,... 的表示里,它们对应更高阶的张量。

不可约表示的作用就是:将神经网络中的特征向量,按照它们在旋转下的变换方式,分门别类地存到不同的"通道"里。 这样,当整个分子旋转时,网络知道每一类特征该怎样同步变化,从而保证等变性。

5.2 Clebsch--Gordan 系数:不同"积木块"的耦合配方

Clebsch--Gordan 系数(简称 CG 系数)解决的是另一个问题:当你把两种不同变换类型的特征组合在一起时,新得到的混合特征又该按什么规则变换?

在几何深度学习里,网络经常要做"融合"操作。例如,在消息传递中,我们要把原子 iii 的特征(比如 l1=1l_1=1l1=1 的向量)和它与邻居的相对方向(比如 l2=1l_2=1l2=1 的方向向量)合并,以构造新的消息。这两个特征各自在旋转下有明确的变换方式,但它们合并后的产物,其变换规则就不再是单纯的 l1l_1l1 或 l2l_2l2 了。

这个合并操作就是张量积 。两个分别属于 l1l_1l1 和 l2l_2l2 的不可约表示做张量积后,通常会分解为多个不同 lll 的不可约表示的直和

Vl1⊗Vl2=⨁l=∣l1−l2∣l1+l2Vl \mathbf{V}{l_1} \otimes \mathbf{V}{l_2} = \bigoplus_{l = |l_1 - l_2|}^{l_1 + l_2} \mathbf{V}_l Vl1⊗Vl2=l=∣l1−l2∣⨁l1+l2Vl

这个"分解"过程,就是 CG 系数干的事情。

CG 系数的本质 :它就是一个"配方表"。它告诉我们在做张量积的时候,应该用怎样的线性组合,才能从两个已知的"积木块" l1l_1l1 和 l2l_2l2 中,干净地提取出属于目标 lll 的"积木块"。

一个熟悉的类比

想象两个多项式相乘。(1+2x)(3+5x)(1 + 2x)(3 + 5x)(1+2x)(3+5x) 的结果是 3+11x+10x23 + 11x + 10x^23+11x+10x2。这里的"乘法"是"卷积","合并同类项"就是把 x1x^1x1 项聚合到一起。

CG 系数做的也是类似的事。只不过它处理的是球谐函数(或更一般的不可约表示)的张量积。你在几何深度学习论文里看到的、带有多个求和指标和组合数的复杂公式,大多就是在用 CG 系数把两个不同阶的特征"合并同类项",使结果仍然属于某个确定的 lll 阶。

5.3 一段数学史:Clebsch 与 Gordan

"Clebsch--Gordan"不是一个单独的人名,而是两位19世纪德国数学家姓氏的组合:阿尔弗雷德·克莱布希 (Alfred Clebsch,1833--1872)和保罗·哥尔丹 (Paul Gordan,1837--1912)。

Alfred Clebsch

在19世纪中叶的德国数学界,克莱布希是一位承前启后的关键人物。他的一生虽如流星般短暂------仅仅39年------却在代数几何与不变量理论领域留下了深刻印记。1868年,克莱布施接替黎曼在哥廷根大学的教席,并与卡尔·诺伊曼 (Carl Neumann)共同创办了一份极具影响力的数学期刊------《数学年鉴》(Mathematische Annalen),以此为基础形成克莱布施学派,深刻影响了德国数学的走向。正如后世学者所评价的:"如果他活得更久,他很可能会成为他那一代的主导人物,德国数学的整个框架也可能发生不同的发展。"

Paul Gordan

哥尔丹则以不变量理论方面的杰出工作闻名,被称为"不变量理论之王 ",他证明了二元型的有限完备系的存在性------这一结果后来被大卫·希尔伯特的工作所推广。哥尔丹还是著名女数学家埃米·诺特(Emmy Noether)的博士导师。

两人合作的成果集中体现在1866年出版的《阿贝尔函数论》(Theorie der Abelschen Functionen )一书中。在这项工作中,他们发展了一套数学工具,用于处理两个基本对象"耦合"后如何"分解"为更基本组分的问题。这个纯粹数学上的构造,在几十年后量子力学诞生时被发现完美地描述了两个角动量(如电子自旋)的耦合,因此被物理学家"重新发现"并广泛应用,称为Clebsch--Gordan系数 (物理学家也常称之为向量耦合系数维格纳系数)。

我们今天在几何深度学习中用CG系数来处理张量积,本质上是在应用一套起源于19世纪代数研究、成熟于20世纪量子力学、如今又在21世纪人工智能中焕发新生的数学工具。

总结一下

  • 不可约表示:将抽象的旋转操作"翻译"成具体的矩阵。它定义了"不同几何信息在旋转下该如何表现"。
  • Clebsch--Gordan 系数:不同不可约表示"相乘"时的"合并同类项"公式。它定义了"当不同几何信息融合时,如何保持等变性"。

这两个概念是群卷积频域实现的理论基石。没有它们,我们就无法在旋转群上做"频域乘法",几何深度学习也就无法高效地在计算机上实现。

六、群卷积定理与频域加速

普通卷积之所以在工程中如此重要,卷积定理功不可没:

F(f∗g)=F(f)⋅F(g) \mathcal{F}(f * g) = \mathcal{F}(f) \cdot \mathcal{F}(g) F(f∗g)=F(f)⋅F(g)

即时域的卷积等于频域的逐点乘积。借助快速傅里叶变换(FFT),计算复杂度从 O(n2)O(n^2)O(n2) 降至 O(nlog⁡n)O(n \log n)O(nlogn)。

群卷积拥有完全平行的定理。只需要将普通傅里叶变换替换为群傅里叶变换------用群的不可约表示对函数做展开。在频域中,群卷积变为:

f∗g^(λ)=f^(λ)⋅g^(λ) \widehat{f * g}(\lambda) = \hat{f}(\lambda) \cdot \hat{g}(\lambda) f∗g (λ)=f^(λ)⋅g^(λ)

其中 λ\lambdaλ 标记不同的不可约表示。

这里有一个关键差异:普通傅里叶变换的"频率"是数(标量),而群傅里叶变换的"频率"是矩阵。因此右边的乘法不是标量相乘,而是矩阵乘法 (或更一般地,张量积)。对于非交换群(如旋转群 SO(3)SO(3)SO(3)),不同频率之间的耦合需要用Clebsch--Gordan 系数来计算------这正是几何深度学习文献中那些看似复杂的组合数公式的来源。

这个"频域乘法"的性质意味着群卷积也可以被加速,虽然在非交换群上的快速算法比普通FFT要复杂得多。

七、群上的"中心极限定理"

我在那篇《卷积》文章中讨论了中心极限定理:把任意分布反复与自身卷积,最终会趋近于正态分布------正态分布是卷积运算的"吸引子"。

在紧致群(compact group)上,存在完全平行的结论。反复做群卷积会将任何分布"拉向"哈尔测度(Haar measure)------即群上的均匀分布。这个结论的证明思路与普通中心极限定理如出一辙。

普通中心极限定理的证明,关键一步是将特征函数在频率零点附近做泰勒展开:ϕ(t)≈1−t2/(2n)\phi(t) \approx 1 - t^2/(2n)ϕ(t)≈1−t2/(2n),然后取 nnn 次方得到 e−t2/2e^{-t^2/2}e−t2/2,即正态分布的特征函数。

在紧致群上,我们把普通傅里叶变换替换为群傅里叶变换 ------用群的不可约表示 ρ\rhoρ 对函数做展开。对于分布的 nnn 次卷积 f∗nf^{*n}f∗n,其群傅里叶变换就是 f\^(ρ)n\\hat{f}(\\rho)^nf\^(ρ)n。然后在单位元附近做局部展开:对于李代数元素 XXX,不可约表示有展开式 ρ(exp⁡(X))≈I+iρ(X)−12ρ(X)2+⋯\rho(\exp(X)) \approx I + i\rho(X) - \frac{1}{2}\rho(X)^2 + \cdotsρ(exp(X))≈I+iρ(X)−21ρ(X)2+⋯。如果分布是"中心化"的(在群上的均值为单位元),则一阶项消失,主导项是二阶项(类似方差)。于是 f\^(ρ)n\\hat{f}(\\rho)^nf\^(ρ)n 趋向于热核的傅里叶系数------即指数二次型。

这个热核正是群上热传导方程 ∂u/∂t=Δu\partial u/\partial t = \Delta u∂u/∂t=Δu 的基本解,其中 Δ\DeltaΔ 是群上的拉普拉斯-贝尔特拉米算子 (Laplace--Beltrami operator)。热核 (heat kernel)描述了热量在群流形上如何随时间扩散。由于群是紧致的,热量无处可逃,热核在 t→∞t \to \inftyt→∞ 时必须均匀分布在整个群上,即趋近于哈尔测度。

用物理图像来说:反复做群卷积等价于在群流形上做随机游走,其连续极限就是热扩散过程。在一个紧凑的容器里撒一把热,最终温度必然处处相等。

普通中心极限定理 紧致群上的中心极限定理
底层变换 加法 群乘法
特征函数 ϕ(t)=EeitX\phi(t) = \mathbb{E}e\^{itX}ϕ(t)=EeitX 群傅里叶变换 f^(ρ)\hat{f}(\rho)f^(ρ)(矩阵)
泰勒展开 ϕ(t)≈1−t2/(2n)\phi(t) \approx 1 - t^2/(2n)ϕ(t)≈1−t2/(2n) 李代数展开:f^(ρ)≈I−12二次型\hat{f}(\rho) \approx I - \frac{1}{2}\text{二次型}f^(ρ)≈I−21二次型
卷积的 nnn 次方 ϕ(t)n→e−t2/2\\phi(t)^n \to e^{-t^2/2}ϕ(t)n→e−t2/2 f\^(ρ)n→exp⁡(−二次型)\\hat{f}(\\rho)^n \to \exp(-\text{二次型})f\^(ρ)n→exp(−二次型)
极限分布 正态分布(热核在 R\mathbb{R}R 上) 热核 → 哈尔测度(均匀分布)
核心方程 热传导方程 ∂tu=12∂x2u\partial_t u = \frac{1}{2}\partial_x^2 u∂tu=21∂x2u 群上的热传导方程 ∂tu=Δu\partial_t u = \Delta u∂tu=Δu

这个类比揭示了一个更深刻的图景:卷积本质上是一个"磨平"操作。无论你从什么形状出发,反复卷积都会将其推向底空间上最"对称"的那个状态。 在数轴上是正态分布,在紧致群上是均匀分布。

八、几何人工智能:群卷积的应用

以上讨论的群卷积,在人工智能领域有一个具体的名字------几何深度学习 (Geometric Deep Learning)2^\text{2}2。它的核心任务是把物理世界的对称性"编入"神经网络的结构中。

8.1 为什么需要群卷积?

在三维空间中,一个分子整体旋转 90∘90^\circ90∘ 后,所有原子的坐标都变了。但分子的物理性质(如能量、受力)完全不变。如果使用普通神经网络处理分子数据,旋转后的输入在神经网络看来是一组完全不同的数字,会给出完全不同的预测------这在物理上是荒谬的。

我们需要神经网络"尊重"物理对称性。 具体来说,需要两个性质:

  • 不变性(Invariance):输入旋转了,标量输出(如能量)不变。
  • 等变性(Equivariance):输入旋转了,向量/张量输出(如受力方向)跟着旋转同样的角度。

群卷积天然保证等变性。因为群卷积的定义本身就建立在"群元素复合"的基础上------输入在群上"滑动"到新位置,输出也在群上跟着"滑动"同样距离。

8.2 分子动力学:预测原子受力

分子动力学模拟需要计算每个原子受到的力,从而推演分子随时间的演化。传统方法(密度泛函理论DFT)计算精确但极其缓慢,一个分子可能需要数小时。用神经网络替代DFT是近年来最活跃的研究方向之一。

挑战在于:神经网络预测的力必须是等变的------分子整体旋转,每个原子的受力方向必须跟着旋转。如果做不到这一点,模拟的分子在几飞秒内就会"飞散",能量和动量都不守恒。

群卷积正好解决这个问题。代表性模型包括Tensor Field Networks 3^\text{3}3、NequIP 4^\text{4}4、MACE 5^\text{5}5 等,其核心做法是:

  1. 将原子的三维坐标看作定义在 SE(3)SE(3)SE(3)(三维平移+旋转群)上的函数。
  2. 用球谐函数将空间信息分解到不同的"频率通道"(即不可约表示的不同阶数 l=0,1,2,...l = 0, 1, 2, \dotsl=0,1,2,...)。
  3. 在网络的每一层,用群卷积(在频域实现为张量积)处理这些特征,保持各阶通道的变换规则不变。
  4. 最终输出:l=0l = 0l=0 通道给出能量(不变标量),对坐标求导得到力(自动满足等变性)。

图3:SE(3)-Transformer应用于分子数据集的示意图。左图展示了一个层将点云映射到点云,保证等变性;右图展示了单个节点(红色)对邻居节点的注意力机制,连线粗细表示注意力权重,该权重对输入旋转具有不变性。来源:SE(3)-Transformer项目官网。

这些模型已经在材料科学、药物设计等领域展现出接近DFT精度的预测能力,而计算速度提升了数个数量级。

8.3 三维视觉:识别任意朝向的物体

在计算机视觉中,物体在图像中的朝向是任意的。一个杯子正着放、倒着放、侧着放,普通CNN会把它们当成三个不同的东西,需要海量数据增强才能勉强应对。群卷积提供了更优雅的解决方案:定义在 SO(3)SO(3)SO(3)(三维旋转群)上的群卷积可以在网络内部"扫描"所有可能的旋转角度。具体做法是将二维图像上的特征图"提升"到 SO(3)SO(3)SO(3) 群上------即在每个空间位置记录"如果旋转了某个角度,会看到什么"------然后在群上做卷积。这种方法不需要数据增强,天然对旋转具有等变性。

代表性工作包括Cohen等人提出的Group Equivariant CNNs 6^\text{6}6,以及后来在3D点云上的扩展(如SE(3)-Transformer 7^\text{7}7)。这些模型在旋转后的测试集上的表现远优于普通CNN。

在6D物体姿态估计中,SE(3)扩散模型能够在给定输入图像的情况下,在SE(3)群上采样出多个可能的姿态假设,从而处理物体遮挡和对称性带来的姿态歧义性。下图展示了该模型在T-LESS数据集上的可视化结果。

图4:SE(3)扩散模型在T-LESS数据集上的6D物体姿态估计可视化结果。第一行展示三个不同物体在杂乱场景中的姿态估计,分别具有2个离散对称性(Object 9)、4个离散对称性(Object 27)和1个连续对称性(Object 14);第二行展示由遮挡和自遮挡引起的姿态歧义性(Object 4)。每个图中包含1000个从模型中采样的姿态样本,样本集中在分布的各模态上,表明模型能够生成精确的旋转估计。来源:Hsiao et al., CVPR 2024。

8.4 蛋白质结构预测

蛋白质是由氨基酸链折叠而成的三维结构,预测其空间构型是生物学中的核心难题。蛋白质的物理结构具有天然的 E(3)E(3)E(3) 对称性------旋转或平移整个分子,其内在结构不变。近年来的前沿模型(如AlphaFold 8^\text{8}8、OpenFold等)在架构设计中越来越多地融入了几何深度学习技术,群卷积是其中的关键组件之一。

群卷积被用于处理氨基酸残基之间的相对位置和方向信息:每个残基的位置用三维向量表示,方向用旋转矩阵表示。群卷积在这些几何特征上滑动,确保网络的每一层都对整体旋转和平移具有等变性。这不仅提高了预测精度,也减少了所需训练数据量。下图展示了AlphaFold对黑腹果蝇Q9VZS7蛋白的结构预测结果,不同颜色代表预测置信度。

图5:AlphaFold预测的蛋白质三维结构。以黑腹果蝇Q9VZS7蛋白为例,不同颜色代表预测置信度:深蓝色为高置信度,浅蓝色为中等,黄色为低,橘色为极低。来源:Engineering期刊 / AlphaFold官方发布。

8.5 材料科学与晶体对称性

晶体材料具有周期性结构,其对称性由晶体空间群(crystallographic space groups)描述------包含平移、旋转、反射、滑移等操作的庞大群族。预测晶体材料的物理性质(如带隙、力学强度)需要模型尊重这些对称性。如果晶体被平移一个晶格常数,输入坐标全变了,但输出应该不变。群卷积可以将晶体空间群的对称性直接编码到网络结构中,确保预测结果不受这些对称操作的影响。

图6:晶体结构与能级示意图。(a) 立方空间群Fm-3m的双钙钛矿晶体结构;(b) 四方空间群I4/m的晶体结构;© 立方八面体晶体场中d能级在B位和B'位的分裂示意图,箭头表示磁性位点上的磁矩方向。来源:Nature Computational Materials。

这种方法在材料基因组学和高通量材料筛选中具有重要应用。

九、实现中的一个小细节

深度学习框架(如PyTorch、TensorFlow)中的"卷积层",严格来说其实是互相关(Cross-correlation)------它直接计算滑动窗口的点积,省略了翻转这一步。由于卷积核的参数是可学习的,网络可以自行学到翻转后的版本,因此省略翻转不影响表达能力。

在群卷积中,这个细节同样存在,只是"翻转"变成了"取逆":在群上,互相关对应的操作为 \\sum f(k) \\cdot g(k \\circ h) ,而真正的卷积是 \\sum f(k) \\cdot g(k\^{-1} \\circ h) 。工程实现时,由于参数可学习,很多高效实现省略了取逆,但仍冠以"群卷积"之名。

十、结语

从普通骰子到方向骰子,从数轴上的加法到群上的复合,从正态分布到哈尔测度,从李群的全局结构到李代数的局部线性化,再到李括号和泊松括号所刻画的非交换性与物理守恒律,最后到不可约表示和Clebsch--Gordan系数提供的具体计算工具------群卷积将所有这些概念串联在一起,构成了一条从"配对加权求和"到"物理世界建模"的完整数学链路。

但这条链路本身并不复杂。它的起点是掷骰子的朴素直觉:把所有能凑成目标结果的配对找出来,加权累加。普通骰子用加法合并,方向骰子用旋转复合合并。从那里出发,每一层抽象都有明确的动机:连续对称性需要李群,局部计算需要李代数,多体交互需要李括号,物理守恒需要泊松括号,频域计算需要不可约表示,不同阶的耦合需要CG系数。

群卷积为处理物理世界的对称性提供了统一的数学框架。这个框架本身已经相对成熟,但它在人工智能中的全面落地还远未完成。分子动力学模拟、三维物体识别、蛋白质结构预测、晶体材料设计------这些领域的难题某种程度上都可以归结为同一个问题:如何让神经网络更准确地理解几何。群卷积给出了一个方向,但它是不是最终答案,还需要更多检验。

参考文献

1 尚万虎. 卷积:从掷骰子到人工智能的数学之旅J. 数学文化, 2026, 17(2): 64-78.

2 Bronstein M M, Bruna J, Cohen T, et al. Geometric deep learning: Grids, groups, graphs, geodesics, and gaugesJ. arXiv preprint arXiv:2104.13478, 2021.

3 Thomas N, Smidt T, Kearnes S, et al. Tensor field networks: Rotation-and translation-equivariant neural networks for 3D point cloudsJ. arXiv preprint arXiv:1802.08219, 2018.

4 Batzner S, Musaelian A, Sun L, et al. E(3)-equivariant graph neural networks for data-efficient and accurate interatomic potentialsJ. Nature Communications, 2022, 13(1): 2453.

5 Batatia I, Kovacs D P, Simm G N C, et al. MACE: Higher order equivariant message passing neural networks for fast and accurate force fieldsC. Advances in Neural Information Processing Systems, 2022, 35: 11423-11436.

6 Cohen T, Welling M. Group equivariant convolutional networksC. International Conference on Machine Learning, 2016: 2990-2999.

7 Fuchs F, Worrall D, Fischer V, et al. SE(3)-transformers: 3D roto-translation equivariant attention networksC. Advances in Neural Information Processing Systems, 2020, 33: 1970-1981.

8 Jumper J, Evans R, Pritzel A, et al. Highly accurate protein structure prediction with AlphaFoldJ. Nature, 2021, 596(7873): 583-589.

相关推荐
emfuture1 小时前
中嵌科技“岷山“实验室技术拆解:基于 DeepSeek-7B 的工控垂类模型,怎么把推理压到 50ms 以内?
人工智能·科技·lora·知识图谱·工业大模型·垂类微调·工控ai
阿里云大数据AI技术1 小时前
Hologres 长记忆服务重磅发布,首月免费公测!
人工智能
大鱼>1 小时前
AI+货物追踪:贵重物品智能追踪系统
人工智能·深度学习·算法·机器学习
大鱼>1 小时前
AI+货物追踪:集装箱智能追踪系统
人工智能·深度学习·算法·机器学习
不穿铠甲的穿山甲2 小时前
注意力机制
人工智能
雪隐2 小时前
用Flutter做背单词APP-02我画了设计稿,然后让AI帮我设计了数据库(顺便聊了会天)
前端·人工智能·后端
love530love2 小时前
CodexPro + MCP + Cloudflare 配置详解:HTTP2、QUIC 与连接排障
ide·人工智能·windows·ai agent
Listen·Rain2 小时前
向量化详解
java·人工智能·spring·机器学习·ai
keyanbanyungong2 小时前
被市场忽略的AI4S细分赛道:MedPeer生物医药科研数字化稀缺龙头
大数据·人工智能