摘要
基于"信息依附物质→存储离散(粒)、传播/观测连续(波)"之物理隐喻，本文形式化深度学习生成建模之本质：优质生成模型不直接拟合离散像素/样本之联合分布，而是学习数据潜藏在连续流形上之概率密度（或等价之得分场 ∇_x log p(x)），即波函数 Ψ；生成时对该连续分布采样，经测量/量化得离散输出。我们给出"连续性假说定理(Continuity Hypothesis for Generative Modeling, CHGM)"及其推论，并以扩散模型、VAE 对照纯离散 GAN 说明：模型表现之上界取决于其对连续波函数之逼近精度，而非对离散经验分布之过拟合。
一、问题形式化
设自然信号（图像/音频/视频）之理想观测为连续随机向量 X∈X⊆RdX \in \mathcal{X} \subseteq \mathbb{R}^dX∈X⊆Rd，其真实分布为 pdata(x)p_{\text{data}}(x)pdata(x)，定义在连续 Borel 测度空间 (X,B(X),μ)(\mathcal{X}, \mathcal{B}(\mathcal{X}), \mu)(X,B(X),μ)。
数字设备经采样/量化产生离散观测 X~=Q(X)∈G\tilde{X} = Q(X) \in \mathcal{G}X~=Q(X)∈G，其中 Q:X→GQ:\mathcal{X}\to\mathcal{G}Q:X→G 为量化映射（如 8-bit 像素网格），G\mathcal{G}G 为有限集。
定义 1（粒与波之信息映射）
- 存储/量化输出 x~∈G\tilde{x} \in \mathcal{G}x~∈G：对应粒子性------离散、定域、可数；
- 潜在连续密度 pdata(x)p_{\text{data}}(x)pdata(x) 或其得分场 ∇xlogpdata(x)\nabla_x \log p_{\text{data}}(x)∇xlogpdata(x)：对应波动性------连续、非定域、具干涉结构（高频相关性即纹理/运动连续性）。
生成模型目标：由有限 i.i.d. 样本 {x~i}i=1N∼pdata\{\tilde{x}i\}{i=1}^N \sim p_{\text{data}}{x~i}i=1N∼pdata 近似恢复连续分布 pθ(x)≈pdata(x)p_\theta(x) \approx p_{\text{data}}(x)pθ(x)≈pdata(x)，使采样 X^∼pθ\hat{X} \sim p_\thetaX^∼pθ 再经量化（或直接取整）得生成输出 X~gen=Q(X^)\tilde{X}_{\text{gen}} = Q(\hat{X})X~gen=Q(X^)。
二、连续性假说定理（CHGM Theorem）
定理 1（生成模型连续性假说 --- 非正式）
设生成模型 Mθ\mathcal{M}\thetaMθ 输出分布 pθp\thetapθ。若 Mθ\mathcal{M}\thetaMθ 仅记忆离散经验分布 pemp(x~)=1N∑iδx~ip{\text{emp}}(\tilde{x}) = \frac{1}{N}\sum_i \delta_{\tilde{x}_i}pemp(x~)=N1∑iδx~i（纯粒描述），则其生成质量受限于模式塌缩与伪影；
若 Mθ\mathcal{M}\thetaMθ 能以任意精度一致逼近连续密度 pθ(x)→pdata(x)p\theta(x) \to p_{\text{data}}(x)pθ(x)→pdata(x)（或等价逼近其得分场 ∇logpθ→∇logpdata\nabla\log p_\theta \to \nabla\log p_{\text{data}}∇logpθ→∇logpdata 在 L2(pdatadx)L^2(p_{\text{data}}dx)L2(pdatadx)），则生成样本经量化后 FID/KID 等指标随模型容量与数据趋于最优。
证明概要（严格表述）：
-
数据生成过程假设 ：真实自然信号 X∼pdataX \sim p_{\text{data}}X∼pdata 连续，X~=Q(X)\tilde{X}=Q(X)X~=Q(X)。
pdatadisc(x~)=∫{u:Q(u)=x~}pdata(u) du p_{\text{data}}^{\text{disc}}(\tilde{x}) = \int_{\{u:Q(u)=\tilde{x}\}} p_{\text{data}}(u)\,du pdatadisc(x~)=∫{u:Q(u)=x~}pdata(u)du离散分布完全由连续密度决定。
-
纯离散拟合缺陷 ：若 pθ=pempdiscp_\theta = p_{\text{emp}}^{\text{disc}}pθ=pempdisc，其对未见区域赋零概率，无法外推连续结构，导致模糊/伪纹（mode-seeking behavior of GAN）。
-
连续密度/得分逼近充分性：
- Score Matching (Hyvärinen, 2005)：最小化
LSM(θ)=Epdata[∥∇xlogpθ(x)−∇xlogpdata(x)∥2] \mathcal{L}{\text{SM}}(\theta) = \mathbb{E}{p_{\text{data}}}[\|\nabla_x \log p_\theta(x) - \nabla_x \log p_{\text{data}}(x)\|^2] LSM(θ)=Epdata[∥∇xlogpθ(x)−∇xlogpdata(x)∥2]
可在不显式归一化 pθp_\thetapθ 下学习连续结构。 - 扩散模型（Song & Ermon 2019; Ho et al. 2020）通过噪声扰动构建含时得分场 ∇xtlogpt(xt)\nabla_{x_t}\log p_t(x_t)∇xtlogpt(xt)，逐步去噪即从热平衡（纯波/各向同性高斯）重建原始连续流形结构------即学到"波函数"再采样。
- Score Matching (Hyvärinen, 2005)：最小化
-
采样即测量（坍缩） ：生成时从 pθ(x)p_\theta(x)pθ(x) 抽取 x^∼pθ\hat{x} \sim p_\thetax^∼pθ，再令 x~gen=round/clip(x^)\tilde{x}{\text{gen}} = \text{round/clip}(\hat{x})x~gen=round/clip(x^)（量化/显示映射）。此即波→粒观测过程。
x~gen 是对连续波函数 Ψ∝pθ(x) 在像素栅格上的投影测量结果 \tilde{x}{\text{gen}} \text{ 是对连续波函数 } \Psi \propto \sqrt{p_\theta(x)} \text{ 在像素栅格上的投影测量结果} x~gen 是对连续波函数 Ψ∝pθ(x) 在像素栅格上的投影测量结果∎（更严谨表述需引入弱收敛：pθ(N)→wpdata⇒pθdisc(N)→pdatadiscp_\theta^{(N)} \xrightarrow{w} p_{\text{data}} \Rightarrow p_\theta^{\text{disc}(N)} \to p_{\text{data}}^{\text{disc}}pθ(N)w pdata⇒pθdisc(N)→pdatadisc in total variation）
三、各主流模型之波粒诠释对照
3.1 扩散模型 ------ 显式构造连续波函数
- 前向 xt=αˉtx0+1−αˉtϵx_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilonxt=αˉt x0+1−αˉt ϵ：逐渐抹去离散结构，回归连续高斯场（退相干→纯波）；
- 反向学习 ϵθ(xt,t)≈∇xtlogpt(xt)\epsilon_\theta(x_t,t) \approx \nabla_{x_t}\log p_t(x_t)ϵθ(xt,t)≈∇xtlogpt(xt)：得分函数即连续流形切空间方向，是波函数梯度场；
- 采样：xT∼N(0,I)→reversex0∼pθx_{T}\sim\mathcal{N}(0,I) \xrightarrow{\text{reverse}} x_0 \sim p_\thetaxT∼N(0,I)reverse x0∼pθ → 量化得图像。
- ✅ 明确符合 CHGM：学到连续描述再采样。
3.2 VAE ------ 隐连续流形逼近
- 假设 z∼N(0,I)z \sim \mathcal{N}(0,I)z∼N(0,I) 连续先验，pθ(x∣z)p_\theta(x|z)pθ(x∣z) 解码为连续似然（Gaussian decoder）；
- 若 decoder variance ↓ 0 且量化后输出，本质仍为连续密度→采样→离散化；
- ⚠️ 若 posterior collapse 或 likelihood 过尖，连续流形学得不充分→模糊。
3.3 原始 GAN（非能量型）------ 偏向纯粒描述
- 判别器仅区分离散样本真假，生成器直接映射噪声→像素；
- 缺乏显式连续密度/得分场，易 mode collapse（只学到部分离散模式=粒子投影缺失波结构）；
- ✳️ WGAN-GP / EBM-GAN 引入 Lipschitz / 能量景观后趋近连续密度建模，效果提升------印证 CHGM。
四、采样定理视角：Δt→0\Delta t \to 0Δt→0 时离散序列恢复连续函数
Shannon--Nyquist 定理：若带限连续信号 f(t)f(t)f(t) 采样间隔 Δt≤1/(2B)\Delta t \le 1/(2B)Δt≤1/(2B)，可用 sinc 插值完美恢复 f(t)f(t)f(t)。
生成模型类比：
- 训练数据 = 欠采样栅格（像素是 Q(f(t))Q(f(t))Q(f(t))）；
- 好模型学的是插值核 + 高频相关性 = 连续流形 p(x)p(x)p(x)；
- 采样 = 在新位置求值（新构图/新音频帧）+ 量化。
扩散模型之去噪过程可视作从噪声中学习最优连续插值方向（score field），故能补全 Shannon 插值无法恢复之非线性纹理/运动------因它学到的是物理连续观测场，非仅频带限制 sinc。
五、推论与预测
推论 1 ：在同等数据量下，生成质量上界取决于模型对 pdata(x)p_{\text{data}}(x)pdata(x)（或 ∇log p）之连续逼近能力，而非对 G\mathcal{G}G 上经验分布之 memorization。
推论 2 ：视频/音频生成须对时空连续流形 p(x1:T)p(x_{1:T})p(x1:T) 建模（Spatiotemporal Score / SSM 微分方程），仅帧间独立离散生成必劣------与前述"视频需连续描述模型"一致。
推论 3 ：未来更优生成架构（State Space Models, Neural ODEs, Continuous-Time Diffusion）因其原生描述连续演化 dxdt=fθ(x,t)\frac{dx}{dt}=f_\theta(x,t)dtdx=fθ(x,t)，更接近"波函数"本征形式，应持续优于纯离散 Token 自回归（当数据具连续观测语义时）。
六、结论
深度学习生成建模之物理信息论诠释为：
训练：离散数据 x~i →learn pθ(x) 或 ∇xlogpθ(x)⏟连续波函数 Ψ ;生成： x^∼pθ →Q x~gen\boxed{\text{训练：离散数据 } \tilde{x}i \;\xrightarrow{\text{learn}}\; \underbrace{p\theta(x)\text{ 或 }\nabla_x\log p_\theta(x)}{\text{连续波函数 }\Psi}\;;\qquad \text{生成：}\; \hat{x}\sim p\theta \;\xrightarrow{Q}\; \tilde{x}_{\text{gen}}}训练：离散数据 x~ilearn 连续波函数 Ψ pθ(x) 或 ∇xlogpθ(x);生成：x^∼pθQ x~gen
- 存储/输出 = 离散(粒)：最终用户看到之像素/样本；
- 模型内部表示 = 连续(波)：得分场、流形、概率密度即波函数；
- 采样 = 测量坍缩：从波函数抽取一次实现，投影至离散栅格。
扩散模型之所以优异，是因为它最彻底地执行了此程序------先通过噪声抹去粒子性暴露波动性，再通过学习的得分场重建连续观测描述，最后采样+量化得生成内容。这为理解生成式 AI 提供了统一之波粒互补框架。
参考文献
- Hyvärinen, A. (2005). Estimation of Non-Normalized Statistical Models by Score Matching. JMLR.
- Song, Y., & Ermon, S. (2019). Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS.
- Ho, J. et al. (2020). Denoising Diffusion Probabilistic Models. NeurIPS.
- Sohl-Dickstein et al. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. ICML.
- Kingma, D. P., & Welling, M. (2014). Auto-Encoding Variational Bayes. ICLR.
- Shannon, C. E. (1949). Communication in the Presence of Noise. Proc. IRE.