人工智能与概率论：条件概率、贝叶斯定理、概率分布族、期望与方差、中心极限定理与极大似然估计

丁希希哇2026-06-22 8:18

系列文章目录

人工智能与线性代数：向量与矩阵的运算和性质

人工智能与微积分和优化：导数、雅可比矩阵、海森矩阵、凸优化

文章目录

前言：博主在跌跌撞撞跟随人工智能发展的脚步过程中，越来越发现数学基础的重要性，然而AI领域的迭代速度实在太快，难以沉下心来深耕纯粹的数理知识。学校里的课程知识要么过于枯燥要么难以理解找不到和自己想做的工作之间的关系。所以计划和大模型进行沟通，梳理出自己认为学习LLM，VLM和Agent相关的数学知识，方便自己随时回顾。

神经网络的前向传播是线性代数，反向传播是微积分，而模型预测的输出、对齐的本质、以及智能体的决策，全部都是概率。大模型（LLM）的本质就是一个超大规模的概率分布函数 P ( Token t ∣ Token < t ) P(\text{Token}{t} \mid \text{Token}{<t}) P(Tokent∣Token<t)。

一、条件概率与贝叶斯定理

条件概率与贝叶斯定理实际上是这样一个逻辑框架："在获取新信息后，如何科学地更新观点"。

（一）条件概率

1. 核心公式

条件概率研究的是：在已知某个事件 B B B 已经发生的前提下，另一个事件 A A A 发生的概率：

P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A \mid B) = \frac{P(A \cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)

  • P ( A ∩ B ) P(A \cap B) P(A∩B)：事件 A A A 和事件 B B B 同时发生的概率（交集）。
  • P ( B ) P(B) P(B)：事件 B B B 发生的总概率（新的样本空间）。

2. 几何直觉：缩减样本空间

  • 在没有任何条件时，我们考虑的宇宙是整个样本空间 Ω \Omega Ω（总面积为 1）。
  • 一旦我们得知"事件 B B B 已经发生"，整个宇宙瞬间坍塌并缩小成了只有 B B B 那么大的新宇宙。
  • 此时，事件 A A A 还能发生的唯一可能性，就只剩下它与 B B B 重叠的那部分阴影面积（即 P ( A ∩ B ) P(A \cap B) P(A∩B)）。因此， P ( A ∣ B ) P(A|B) P(A∣B) 就是这块阴影面积占整个 B B B 面积的比例。

（二）贝叶斯定理

由条件概率推导不难得到贝叶斯定理公式：

P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B) = \frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)

  • P ( A ) P(A) P(A)：先验概率（在看到证据前，你对世界的认知）。
  • P ( B ∣ A ) P(B\mid A) P(B∣A)：似然概率（如果假设 A A A 成立，出现该证据 B B B 的概率）。
  • P ( A ∣ B ) P(A \mid B) P(A∣B)：后验概率（看到证据 B B B 后，更新后的认知）。

贝叶斯的核心哲学：后验 ∝ \propto ∝ 似然 × \times × 先验。你的最终观点，是你的固有经验（先验）与客观事实（似然）相互妥协平衡后的产物。如果先验极强，少量的数据很难撼动你；如果数据铺天盖地（似然极大），先验的影响就会被渐渐抹去。

（三）AI直觉

  • LLM 的自回归生成：LLM 吐出每一个字，都是在计算条件概率。输入 Prompt 后，模型基于 P ( T 1 ∣ Prompt ) P(T_1 \mid \text{Prompt}) P(T1∣Prompt) 采出第一个词，再将其拼接到输入，计算 P ( T 2 ∣ Prompt , T 1 ) P(T_2 \mid \text{Prompt}, T_1) P(T2∣Prompt,T1)。这被称为条件概率链式法则。
  • Agent 的信念更新（Belief Update）：在开放域环境中，Agent（智能体）会根据环境反馈（Evidence）不断更新自己对当前任务状态的判断（后验概率），从而决定下一步是继续探索还是执行动作。

二、概率分布族

从文本输入、潜在的表征空间，到最终的词表输出，大模型在本质上并没有摆脱数学的底层铁律。它所做的一切，都是在用海量的参数去扭曲、拉伸、投射和修正高维几何中的概率分布族。

在深度学习中，不同类型的任务对应不同的概率分布模型。

（一）离散分布

这类分布处理的是离散的、可数的数据（如词表里的 Token、图片的类别标签）。

1. 伯努利分布："只抛一次硬币"的结果

伯努利分布描述的是只有两种可能结果的单次随机试验。这两个结果通常被定义为"成功（1）"或"失败（0）"。

  • 成功概率： P ( X = 1 ) = p P(X = 1) = p P(X=1)=p （其中 0 ≤ p ≤ 1 0 \le p \le 1 0≤p≤1）
  • 失败概率： P ( X = 0 ) = 1 − p = q P(X = 0) = 1 - p = q P(X=0)=1−p=q

伯努利分布的概率模型：

P ( X = x ) = p x ( 1 − p ) 1 − x 其中 x ∈ { 0 , 1 } P(X = x) = p^x (1-p)^{1-x} \quad \text{其中 } x \in \{0, 1\} P(X=x)=px(1−p)1−x其中 x∈{0,1}

伯努利分布的统计特征：

  • 期望（均值）： E ( X ) = p E(X) = p E(X)=p
  • 方差（不确定性）： Var ( X ) = p ( 1 − p ) \text{Var}(X) = p(1-p) Var(X)=p(1−p)

AI映射：Sigmoid激活函数：

深度学习的二分类任务（如预测一张图片里是猫还是非猫）中，网络最后一层通常会套一个sigmoid函数：

σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}} σ(z)=1+e−z1这个神经网络输出的连续数值 σ ( z ) \sigma(z) σ(z)，在本质上就是伯努利分布中的核心参数 p p p（即当前样本为正类的概率）。

2. 二项分布："连续抛n次硬币"的累计结果

二项分布是伯努利分布的自然延伸。它研究的是：将一个成功概率为 p p p 的伯努利试验，独立重复地进行 n n n 次，最终成功次数 X X X 的概率分布。

二项分布的概率模型：

如果在 n n n 次独立试验中，我们恰好成功了 k k k 次（意味着必然失败了 n − k n-k n−k 次），那么发生这种情况的概率公式为： P ( X = k ) = ( n k ) p k ( 1 − p ) n − k 其中 k ∈ { 0 , 1 , ... , n } P(X = k) = \binom{n}{k} p^k (1-p)^{n-k} \quad \text{其中 } k \in \{0, 1, \dots, n\} P(X=k)=(kn)pk(1−p)n−k其中 k∈{0,1,...,n}

二项分布的统计特征：

  • 期望（均值）： E ( X ) = n p E(X) = np E(X)=np
  • 方差（不确定性）： Var ( X ) = n p ( 1 − p ) \text{Var}(X) = np(1-p) Var(X)=np(1−p)

3. 多项分布："连续抛n次具有K个面的骰子"

假设我们有一个不均匀的骰子，它有 K K K 个面（在 LLM 中，这个骰子有 V V V 个面，也就是词表大小，通常为 32,000 到 128,000）。每个面出现的概率分别是 p = p 1 , p 2 , ... , p K \mathbf{p} = p_1, p_2, \\dots, p_K p=p1,p2,...,pK，它们死死满足概率的铁律： ∑ i = 1 K p i = 1 且 p i ≥ 0 \sum_{i=1}^K p_i = 1 \quad \text{且 } p_i \ge 0 i=1∑Kpi=1且 pi≥0现在，我们把这个骰子独立重复地投掷了 n n n 次。我们记录每一个面出现的总次数，得到一个次数向量 x = x 1 , x 2 , ... , x K \mathbf{x} = x_1, x_2, \\dots, x_K x=x1,x2,...,xK，满足 ∑ x i = n \sum x_i = n ∑xi=n。这一整串次数向量 x \mathbf{x} x 的概率分布，就是多项分布。

多项分布的概率模型：

我们在 n n n 次投掷中，恰好得到各个面出现次数为 x 1 , x 2 , ... , x K x_1, x_2, \\dots, x_K x1,x2,...,xK 的概率公式为： P ( X 1 = x 1 , ... , X K = x 2 ) = n ! x 1 ! x 2 ! ... x K ! p 1 x 1 p 2 x 2 ... p K x K P(X_1=x_1, \dots, X_K=x_2) = \frac{n!}{x_1! x_2! \dots x_K!} p_1^{x_1} p_2^{x_2} \dots p_K^{x_K} P(X1=x1,...,XK=x2)=x1!x2!...xK!n!p1x1p2x2...pKxK

多项分布的几何视角：高维概率单纯形

在几何学中，所有可能的多项分布参数 p \mathbf{p} p 都被限制在一个 K − 1 K-1 K−1 维的几何单纯形上：

  • 如果 K = 3 K=3 K=3（骰子只有3个面），单纯形就是一个平面的等边三角形。
  • 三角形的三个顶点分别代表 p 1 = 1 p_1=1 p1=1, p 2 = 1 p_2=1 p2=1, p 3 = 1 p_3=1 p3=1 的绝对确定状态。
  • 三角形的中心点 1 / 3 , 1 / 3 , 1 / 3 1/3, 1/3, 1/3 1/3,1/3,1/3 代表绝对无序的均匀分布。

高维概率单纯形：

高维概率单纯形是高维空间里一张"绝对平坦的膜"，这张膜上凝聚着离散多项分布的所有可能性。每当大模型经过softmax吐出一个大小为 V V V（词表大小）的概率向量时，它在几何上的落脚点，就会被死死扣在这个高维单纯形的表面上。

几何学的单纯形：

几何学中的单纯形指的是在 n n n 维空间中由 n + 1 n+1 n+1 个顶点构成的最简单的凸多面体。而概率单纯形，则在普通单纯形的基础上附加了两个概率约束：

  • 非负性：每一个维度的概率必须大于等于 0（ p i ≥ 0 p_i \ge 0 pi≥0）。
  • 归一性：所有维度的概率之和必须严格等于 1（ ∑ p i = 1 \sum p_i = 1 ∑pi=1）。

由于总和为1的约束，让原本 n n n 维的空间塌陷成了一个 n − 1 n-1 n−1 维的平坦表面。

2D 空间中的 1-维单纯形（2个词的词表："是", "否"`）：

  • 方程： p 1 + p 2 = 1 p_1 + p_2 = 1 p1+p2=1
  • 几何形态：在二维直角坐标系中，它不是一个面，而是一条连接 ( 1 , 0 ) (1,0) (1,0) 和 ( 0 , 1 ) (0,1) (0,1) 的线段。线段上的任意一点都代表一个合法的伯努利分布。

3D 空间中的 2-维单纯形（3个词的词表："猫", "狗", "鸟"）：

  • 方程： p 1 + p 2 + p 3 = 1 p_1 + p_2 + p_3 = 1 p1+p2+p3=1
  • 几何形态：在三维空间中，它是一个截面------也就是一个完美的等边三角形，其三个顶点分别是 ( 1 , 0 , 0 ) (1,0,0) (1,0,0)、 ( 0 , 1 , 0 ) (0,1,0) (0,1,0) 和 ( 0 , 0 , 1 ) (0,0,1) (0,0,1)。

超高维空间中的 ( V − 1 ) (V-1) (V−1)-维单纯形（大模型的词表： V = 32 , 000 V = 32,000 V=32,000）：

  • 方程： ∑ i = 1 V p i = 1 \sum_{i=1}^V p_i = 1 ∑i=1Vpi=1
  • 几何形态：这是一个人类大脑无法直视的超高维正多面体（超单纯形 Hyper-simplex）。虽然维度极高，但它在代数上依然保持着完美的对称性与平坦性。

单纯形上的不同位置代表了模型的不同状态：

  1. 单纯形的每个 顶点 都代表一个One-hot 向量（如 1 , 0 , 0 , ... , 0 1, 0, 0, \\dots, 0 1,0,0,...,0）。如果模型的输出落在这里，意味着它 100%笃定 下一个词就是该顶点对应的单词。
  2. 单纯形的 几何中心点 为 1 / V , 1 / V , ... , 1 / V 1/V, 1/V, \\dots, 1/V 1/V,1/V,...,1/V。这里代表均匀分布，模型对所有候选词一视同仁，不确定性达到了宇宙的顶点（信息熵最大）。
  3. 单纯形的 边界与棱 代表了某些维度的概率严格为0，也就是模型绝对排除了这些词的可能性，概率在剩下的候选词之间流动。
    大模型中的Temperature（温度）采样 就是在控制输出点在单纯形上的运动轨迹：
  • Temp → 0 \text{Temp} \to 0 Temp→0（贪婪解码）：不管 Softmax 投影到了单纯形的哪个位置，算法都会粗暴地把这个点推向距离它最近的那个顶点。模型变得极度确定和死板。
    Temp → ∞ \text{Temp} \to \infty Temp→∞（胡言乱语）：所有的 Logits 被强行抹平，输出点被死死拉回单纯形的绝对中心点（均匀分布），模型开始随机乱吐字。
    大模型的Top-p / Nucleus 采样 就是在单纯形上进行几何斩断：

当模型在单纯形上拉出一条长尾分布时，Top-p 采样会计算累积概率。在几何上，这相当于在单纯形上砍了一刀，直接把靠近那些低概率顶点的边缘区域全部切掉，只保留靠近高概率顶点的子区域，从而在确保多样性的同时，绝对避免了模型蹦出完全不合逻辑的错别字。

类别分布（Categorical）

Categorical Distribution 类别分布就是 n = 1 n=1 n=1 时的多项分布，即骰子只投掷一次。

  • 大模型（LLM）的输出：当大模型接收到你输入的 Prompt 之后，最后一层经过 Softmax 函数，会输出一个大小为词表长度的概率向量。这个向量本质上就是 Categorical 分布的参数 p \mathbf{p} p。

假设神经网络最后一层（比如 LM Head）为 K K K 个互斥的候选类别输出了一个实数向量（称为 Logits）： z = z 1 , z 2 , ... , z K \mathbf{z} = z_1, z_2, \\dots, z_K z=z1,z2,...,zK。这些数字可正可负，可大可小。Softmax 函数作用在其中第 i i i 个分量上，公式定义为： Softmax ( z i ) = e z i ∑ j = 1 K e z j \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}} Softmax(zi)=∑j=1Kezjezi

  • 生成（Sampling）：模型根据这个分布投掷一次骰子（比如通过 Top-p 或 Top-k 采样），掷出哪个面，下一个被打印在屏幕上的 Token 就是哪个词。大模型的自回归生成，就是连续进行单次多项分布采样的动态过程。

（二）连续分布

这类分布处理的是连续的、实数域的数据（如图像特征向量、音频信号、网络权重）。

1. 一维高斯分布：钟形曲线

对于一个一维随机变量 x x x，它受到均值 μ \mu μ（决定中心位置）和方差 σ 2 \sigma^2 σ2（决定胖瘦程度）两个参数的完全控制。其概率密度函数（PDF）为： f ( x ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} f(x)=2πσ2 1e−2σ2(x−μ)2

几何表现： 一条完美的、两头低、中间高的钟形曲线（Bell Curve）。

2. 多元高斯分布：高维空间中的椭球体

当我们在 AI 中处理高维特征向量（如 d = 4096 d=4096 d=4096 维的隐藏层状态）时，一维曲线就升级为了多元高斯分布 N ( μ , Σ ) \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma}) N(μ,Σ)： f ( x ) = 1 ( 2 π ) d ∣ Σ ∣ e − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) f(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^d |\boldsymbol{\Sigma}|}} e^{-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x}-\boldsymbol{\mu})} f(x)=(2π)d∣Σ∣ 1e−21(x−μ)TΣ−1(x−μ)

  • 均值向量 μ \boldsymbol{\mu} μ：锁定了这个高维多面体在空间中的"几何中心"。
  • 协方差矩阵 Σ \boldsymbol{\Sigma} Σ：不仅决定了分布在各个轴向上的胖瘦（方差），还通过非对角线元素决定了各个维度之间的线性相关性（旋转方向）。
  • 几何表现： 在三维或更高维的空间里，多元高斯分布的等概率密度面是一系列完美的高维椭球体。

为什么是高斯分布？

  1. 中心极限定理：许多独立且同分布的随机变量，只要它们的数量足够大，不论它们原本服从什么奇形怪状的分布，它们的代数和最终都会极其丝滑地收敛到高斯分布。
  2. 最大熵原理：在所有具备相同方差的连续概率分布中，高斯分布的信息熵是最大的。
  3. 仿射变换不变性：对一个服从高斯分布的变量 x \mathbf{x} x 进行任意线性的拉伸、旋转或平移（仿射变换 y = A x + b \mathbf{y} = A\mathbf{x} + \mathbf{b} y=Ax+b），重构后的 y \mathbf{y} y 依然百分之百严格服从高斯分布。

高斯分布与人工智能：

  • 在扩散模型中，前向加噪过程就是不断把图像分布推向一个标准的多元正态分布 N ( 0 , I ) \mathcal{N}(\mathbf{0}, \mathbf{I}) N(0,I)；反向生成则是从高斯噪声中一步步去噪还原。
  • 在多模态（VLM）中，图像和文本特征对齐后的潜空间（Latent Space），往往也希望其服从平滑的高斯分布。

2. 均匀分布(Uniform Distribution)

如果说高斯分布是大自然在混乱中自发布局的"钟形山峰"，那么均匀分布就是一座绝对平坦的"几何高原"。在大模型和深度学习的底层，均匀分布代表着绝对的无知、最大的不确定性（最大熵）以及完美的公平。每当大模型刚诞生还没训练时，或者我们需要在有限区间内进行无偏见采样时，均匀分布都是最纯粹的数学起点。

离散均匀分布：

假设随机变量 X X X 有 n n n 种可能的离散取值 { x 1 , x 2 , ... , x n } \{x_1, x_2, \dots, x_n\} {x1,x2,...,xn}，那么它在任意一点的概率质量函数（PMF）为： P ( X = x i ) = 1 n P(X = x_i) = \frac{1}{n} P(X=xi)=n1

连续均匀分布：

随机变量可以落在实数轴的一个连续区间 a , b a, b a,b 内，且在这个区间内任意等长度的子区间内落入的概率完全相同。它的几何外形不是曲线，而是一个标准的矩形（方块）： f ( x ) = { 1 b − a a ≤ x ≤ b 0 其他 f(x) = \begin{cases} \frac{1}{b - a} & a \le x \le b \\ 0 & \text{其他} \end{cases} f(x)={b−a10a≤x≤b其他

均匀分布与人工智能：

  • 参数随机初始化：大模型在刚写完代码、还没喂入任何数据之前，几百亿个参数矩阵必须进行随机初始化。如果把参数全部初始化为 0，反向传播时的梯度会彻底对称死锁，网络完全废掉。现代工业界最常使用的初始化方法之一就是连续均匀分布。
  • 在大语言模型（LLM）的输出单纯形（Simplex）上，其正中心点就是一个均匀分布。当模型处于绝对迷茫、或者 Temperature 调到无限大时，Softmax 的输出就会塌陷成均匀分布。
  • 生成模型与蒙特卡罗采样

（三）生成模型专属

现代生成式 AI（生成图片、视频）之所以能无中生有，靠的是将简单分布转化为复杂分布的混合或变换模型。

1. 混合高斯模型GMM

单一的高斯分布（无论是 1 维的钟形曲线还是高维的椭球体）有一个致命的局限：它只能是单峰（Single Peak）的。但现实世界的数据往往非常复杂（例如：如果统计全人类的身高，由于性别差异，曲线会呈现出两个峰值）。

混合高斯分布将 K K K 个彼此独立的高斯分布"混合"在一起，概率密度函数定义为： f ( x ) = ∑ k = 1 K π k N ( x ∣ μ k , Σ k ) f(\mathbf{x}) = \sum_{k=1}^K \pi_k \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k) f(x)=k=1∑KπkN(x∣μk,Σk)

  • N ( x ∣ μ k , Σ k ) \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k) N(x∣μk,Σk)（单体高斯分量）：第 k k k 个高斯"子弹头"，拥有自己独立的中心 μ k \boldsymbol{\mu}_k μk 和旋转胖瘦（协方差矩阵 Σ k \boldsymbol{\Sigma}_k Σk）。
  • π k \pi_k πk（混合权重 / 门控系数）：每一个高斯分量所占的比例（权重），满足： ∑ k = 1 K π k = 1 且 π k ≥ 0 \sum_{k=1}^K \pi_k = 1 \quad \text{且 } \pi_k \ge 0 k=1∑Kπk=1且 πk≥0这表明 π \boldsymbol{\pi} π 本身驻留在一个高维概率单纯形上。

GMM与EM算法：

对于GMM而言，直接求导会使得所有高斯分量的参数深度耦合，数学上及其丑陋且无法闭式求解。因此，传统的定义损失函数然后求导（SGD）的方式失效，EM算法正式作为驯服GMM参数估计的算法出现。

EM算法采用两步轮流迭代的策略：

  • E 步（Expectation, 算期望）：猜谜题。固定当前各山头的参数，根据观测数据，算出每一个数据点有多大的概率（响应度）属于第 k k k 个高斯山头。
  • M 步（Maximization, 极大化）：挖墙脚。根据 E 步算出来的归属概率，重新计算每个山头的均值 μ k \boldsymbol{\mu}_k μk、协方差 Σ k \boldsymbol{\Sigma}_k Σk 和权重 π k \pi_k πk，让当前的整体似然度达到最大。

两步不断循环，直到山头不再移动，算法收敛。

GMM与人工智能：

  • 生成算法中会采用GMM作为隐空间的先验分布：
    • 如果只用标准高斯分布取约束隐空间，隐空间会过于单一，无法表达结构极其复杂的现实流形
    • 使用GMM相当于再隐藏层内部铺设了多个"记忆节点"，让机器能够在一个连续的空间里，分门别类地存储："猫的特征"、"狗的特征"和"汽车的特征"，实现更高质量的多模态插值与图像生成。

（四）统计与贝叶斯推断

1. 狄利克雷分布 (Dirichlet Distribution)

狄利克雷分布是"概率的概率分布"，从狄利克雷分布采样得到的每一个结果，都严格满足概率分布的总和等于1的要求。因此，它采样出来的数值向量，刚好就是一个合法的高维概率单纯形上的坐标点。

狄利克雷分布由一组全正的集中度参数 α = α 1 , α 2 , ... , α K \boldsymbol{\alpha} = \\alpha_1, \\alpha_2, \\dots, \\alpha_K α=α1,α2,...,αK 掌控。它的输入是一串大小为 K K K 的向量，而它的输出（即采样出来的随机变量）是一个 K K K 维的概率向量 p = p 1 , p 2 , ... , p K \mathbf{p} = p_1, p_2, \\dots, p_K p=p1,p2,...,pK，满足： ∑ i = 1 K p i = 1 且 p i ≥ 0 \sum_{i=1}^K p_i = 1 \quad \text{且 } p_i \ge 0 i=1∑Kpi=1且 pi≥0其概率密度函数为： f ( p 1 , ... , p K ∣ α ) = 1 B ( α ) ∏ i = 1 K p i α i − 1 f(p_1, \dots, p_K \mid \boldsymbol{\alpha}) = \frac{1}{\mathrm{B}(\boldsymbol{\alpha})} \prod_{i=1}^K p_i^{\alpha_i - 1} f(p1,...,pK∣α)=B(α)1i=1∏Kpiαi−1

其中 B ( α ) \mathrm{B}(\boldsymbol{\alpha}) B(α) 是多维贝塔函数（Beta Function），作为分母起到归一化的作用。

狄利克雷分布的集中度参数 α \alpha α：

集中度参数 α \alpha α的数值决定了概率密度汇聚在高维概率单纯形的哪个位置，以 K = 3 K=3 K=3（在一个等边三角形上）为例：

  • α 1 = α 2 = α 3 = 1 \alpha_1 = \alpha_2 = \alpha_3 = 1 α1=α2=α3=1（绝对公平)：当所有 α i \alpha_i αi 都等于 1 时，公式中的 p i α i − 1 p_i^{\alpha_i - 1} piαi−1 变成了 p i 0 = 1 p_i^0 = 1 pi0=1。整个概率密度函数变成了一个常数。
  • 所有 α i > 1 \alpha_i > 1 αi>1（向心力）：从这个分布里采样，大概率只能抽到像 1 / 3 , 1 / 3 , 1 / 3 1/3, 1/3, 1/3 1/3,1/3,1/3 这样极其均衡、中庸、没有任何倾向性的概率多项式。
  • 所有 α i < 1 \alpha_i < 1 αi<1（离心力）：从这里采样出来的概率向量会极度偏激、极度稀疏，比如 0.98 , 0.01 , 0.01 0.98, 0.01, 0.01 0.98,0.01,0.01。它强迫系统做出明确的"多选一"选择。

狄利克雷分布与人工智能：

  • LDA主题模型：
    • LDA 假设：每一篇文章，都是由一系列"主题的多项分布"混合而成的；而每一个主题，又是由一系列"词汇的多项分布"混合而成的。
    • 为了控制这些多项分布不至于乱套，LDA 引入了两个狄利克雷分布作为紧箍咒：一个 α \alpha α 控制文章的主题有多稀疏（确保一篇文章只讲两三个主题，而不是同时讲一百个主题），一个 β \beta β 控制主题内的词汇有多稀疏（确保"体育"主题下多出现"篮球"，少出现"量子力学"）。
  • 强化学习与蒙特卡洛树搜索（MCTS，如 AlphaGo）：
    • 为了防止 AI 陷入局部最优（只走以前走过的老路），AlphaGo 会在根节点的动作选择概率（这是一个多项分布）上，强行塞入一个狄利克雷噪声： P ( s , a ) = ( 1 − ϵ ) p a + ϵ η a 其中 η ∼ Dir ( α ) P(s, a) = (1 - \epsilon) p_a + \epsilon \eta_a \quad \text{其中 } \boldsymbol{\eta} \sim \text{Dir}(\boldsymbol{\alpha}) P(s,a)=(1−ϵ)pa+ϵηa其中 η∼Dir(α)利用狄利克雷分布在 α < 1 \boldsymbol{\alpha} < 1 α<1 时的极端稀疏和爆发性，它能确保给那些之前没被开发过的冷门分支注入强烈的"探索好奇心"，帮助 AI 冲出局部死胡同，找到神之一手。

三、期望与方差

（一）核心公式

  • 期望 (Expectation, E X \mathbb{E}X EX)：随机变量长期重复实验的平均结果（概率加权平均）。
  • 方差 (Variance, Var ( X ) \text{Var}(X) Var(X))：衡量数据偏离均值的离散程度： Var ( X ) = E ( X − E \[ X ) 2 ] \text{Var}(X) = \mathbb{E}(X - \\mathbb{E}\[X)^2] Var(X)=E(X−E\[X)2]。

（二）AI直觉

  • 期望 → \rightarrow → 损失函数 (Loss Function)：我们在深度学习里最小化的所有 Loss，在统计学里都叫经验风险（Empirical Risk），它的本质是输入数据在当前模型参数下的误差期望： min ⁡ θ E ( x , y ) ∼ D L ( f θ ( x ) , y ) \min_\theta \mathbb{E}_{(x,y)\sim \mathcal{D}} \\mathcal{L}(f_\\theta(x), y) minθE(x,y)∼DL(fθ(x),y)。
  • 方差 → \rightarrow → RMSNorm 与 训练稳定性：现代 LLM（如 Llama）放弃了 LayerNorm，改用 RMSNorm（均方根归一化）。RMSNorm 的核心就是计算激活值向量的二阶矩（在均值为 0 时本质就是方差），然后用方差去除以向量，把每一层特征的方差强行控制在 1 左右，从而防止随着网络加深，特征数值无限放大导致训练崩溃。

四、中心极限定理 (CLT)

（一）核心思想

中心极限定理（Central Limit Theorem）指出：大量相互独立、同分布的随机变量，它们的算术平均值（或总和）在数量趋于无穷大时，近似服从高斯分布，无论这些变量原本服从什么奇怪的分布。

严谨数学表述：

设随机变量 X 1 , X 2 , ... , X n X_1, X_2, \dots, X_n X1,X2,...,Xn 是一组相互独立、且服从同一任意分布（IID）的随机变量序列，它们的期望为 μ \mu μ，方差为 σ 2 \sigma^2 σ2。当样本量 n n n 趋向于无穷大时，这 n n n 个随机变量的算术平均值 X ˉ n = 1 n ∑ i = 1 n X i \bar{X}n = \frac{1}{n}\sum{i=1}^n X_i Xˉn=n1∑i=1nXi 的渐进分布满足： X ˉ n → d N ( μ ,   σ 2 n ) \bar{X}_n \xrightarrow{d} \mathcal{N}\left(\mu, \, \frac{\sigma^2}{n}\right) Xˉnd N(μ,nσ2)

（二） AI直觉

  • 大模型参数初始化：
    • 在初始化一个 70B 参数的大模型时，我们不能把权重全部设为 0（会导致所有神经元对称，无法更新），也不能随意设置过大（会导致梯度爆炸）。
    • 假设一个神经元的输出是 y = ∑ i = 1 n w i x i y = \sum_{i=1}^n w_i x_i y=∑i=1nwixi。当输入维度 n n n 很大时（大模型中 n = 4096 n=4096 n=4096 或更高），根据中心极限定理， y y y 的分布会逼近高斯分布。为了让输入和输出的方差保持一致，权重的方差必须设定为 Var ( w ) = 2 n \text{Var}(w) = \frac{2}{n} Var(w)=n2。
  • 扩散模型的快速加噪跳跃：
    • 图像生成扩散模型（如 Stable Diffusion 或 Flux）的前向污染阶段需要在 T = 1000 T=1000 T=1000 个时间步内不断往干净图片里揉入微小的高斯噪声。
    • 如果没有CLT，我们要看第 500 步的图片长什么样，代码必须老老实实做 500 次循环的逐步加噪，计算将极其低效。
    • 根据中心极限定理CLT，每一步加入的独立随机噪声在经过多步叠加后的累积效应依然是完美的高斯分布。因此可以利用这一特性推导出一步到位的闭式公式（重参数化技巧），直接从第 0 步跨越时空，算出第 500 步被高斯污染后的图像状态。

五、极大似然估计 (MLE)

极大似然估计是连接概率模型与参数优化的桥梁。

如果用最通俗的一句话说明极大似然估计的物理本质："结果已经发生，我们要倒推什么样的主观原因，最有可能导致这个结果的出现。"

在人工智能领域，大语言模型（LLM）的预训练（Next Token Prediction）、图像分类器的训练，其底层逻辑全都是在疯狂进行极大似然估计。

（一）核心思想

我们不知道真实的参数 θ \theta θ 是多少，但我们手头有已经发生的数据 D D D。我们通过调整 θ \theta θ，让数据 D D D 出现的概率达到最大。

1. 似然函数

假设有一组独立同分布（IID）的观测数据 X = { x 1 , x 2 , ... , x n } X = \{x_1, x_2, \dots, x_n\} X={x1,x2,...,xn}，它们服从某个由参数 θ \theta θ 控制的概率分布。这组数据同时发生的联合概率，就是它们的概率质量/密度函数的乘积。我们把这个函数称为似然函数 L ( θ ) L(\theta) L(θ)： L ( θ ) = P ( x 1 , x 2 , ... , x n ∣ θ ) = ∏ i = 1 n P ( x i ∣ θ ) L(\theta) = P(x_1, x_2, \dots, x_n \mid \theta) = \prod_{i=1}^n P(x_i \mid \theta) L(θ)=P(x1,x2,...,xn∣θ)=i=1∏nP(xi∣θ)在普通概率函数 P ( X ∣ θ ) P(X \mid \theta) P(X∣θ) 中，参数 θ \theta θ 是固定的，数据 X X X 是变量；而在似然函数 L ( θ ) L(\theta) L(θ) 中，数据 X X X 已经死死固定了，参数 θ \theta θ 变成了我们可以随意揉捏调整的变量。

2. 对数变换

为了把连乘变成好计算的连加，我们通常两边取对数（Log-Likelihood）： θ MLE = arg ⁡ max ⁡ θ ∑ i = 1 n log ⁡ P ( x i ∣ θ ) \theta_{\text{MLE}} = \arg\max_\theta \sum_{i=1}^n \log P(x_i \mid \theta) θMLE=argθmaxi=1∑nlogP(xi∣θ)

（二）AI直觉

大语言模型在预训练阶段做的事情换算成数学语言，就是及其纯粹的自回归极大似然估计。

大模型预训练的任务叫 Next Token Prediction（预测下一个词）。给定一段人类写好的真实语料 X = { x 1 , x 2 , ... , x T } X = \{x_1, x_2, \dots, x_T\} X={x1,x2,...,xT}：模型需要根据前 t − 1 t-1 t−1 个词，去预测第 t t t 个词出现的概率 P ( x t ∣ x 1 , ... , x t − 1 ; θ ) P(x_t \mid x_1, \dots, x_{t-1}; \theta) P(xt∣x1,...,xt−1;θ)。极大似然估计的目标是：调整大模型那上千亿的参数 θ \theta θ，使得人类历史上写下的这些优秀文本，在模型的眼里看来，被吐出来的概率是最高的。大模型的总损失函数（对数似然损失）写出来就是： L MLE ( θ ) = − ∑ t = 1 T log ⁡ P ( x t ∣ x 1 , ... , x t − 1 ; θ ) \mathcal{L}{\text{MLE}}(\theta) = - \sum{t=1}^T \log P(x_t \mid x_1, \dots, x_{t-1}; \theta) LMLE(θ)=−t=1∑TlogP(xt∣x1,...,xt−1;θ)

负号（-）把"最大化似然"的任务转换为了深度学习框架里标准的"最小化负对数似然损失（Negative Log-Likelihood Loss，简称 NLL Loss）"。

（三）MLE与交叉熵损失

多分类交叉熵损失在数学上就是多项分布下的极大似然估计。对于一个样本：

  • 真实标签是一个 One-hot 向量 y = 0 , 1 , 0 \mathbf{y} = 0, 1, 0 y=0,1,0（代表正确类别是第 2 类）。
  • 网络的 Softmax 输出是一个多项分布的预测概率 p = p 1 , p 2 , p 3 \mathbf{p} = p_1, p_2, p_3 p=p1,p2,p3。

如果用极大似然估计（MLE）的视角：我们希望观测到的这个真实结果（第 2 类发生）的似然最大，所以我们要最大化 log ⁡ ( p 2 ) \log(p_2) log(p2)，也就是最小化 − log ⁡ ( p 2 ) -\log(p_2) −log(p2)。如果用交叉熵损失（Cross-Entropy）的公式： Loss = − ∑ i = 1 3 y i log ⁡ ( p i ) = − ( 0 ⋅ log ⁡ ( p 1 ) + 1 ⋅ log ⁡ ( p 2 ) + 0 ⋅ log ⁡ ( p 3 ) ) = − log ⁡ ( p 2 ) \text{Loss} = - \sum_{i=1}^3 y_i \log(p_i) = - \left( 0 \cdot \log(p_1) + 1 \cdot \log(p_2) + 0 \cdot \log(p_3) \right) = - \log(p_2) Loss=−i=1∑3yilog(pi)=−(0⋅log(p1)+1⋅log(p2)+0⋅log(p3))=−log(p2)

它们最终化简出来的代数式完全一模一样。交叉熵损失只是极大似然估计套上了一件信息论的外衣而已。

热门推荐
01GitHub 镜像站点02AI科技热点日报 | 2026年07月01日03幻兽帕鲁 - 服务器管理员权限与 GM 命令完全指南042026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片05GPT-5.5 对比 GPT-5.6 Sol、Terra、Luna：官方性能数据与选型分析062026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？07AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路082026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf092026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？10几个好用的ip纯净度检测网站