不确定性建模是提升大型语言模型（LLM）可信度和可靠性的核心挑战。根据现有研究，主要方法可分为以下几大类：
一、基于理论框架的分类方法
1. 贝叶斯推断方法
贝叶斯方法是量化不确定性的理论基础，核心思想是将模型参数视为概率分布而非点估计。该方法可以优雅地将不确定性分解为两类：
- 偶然不确定性（Aleatoric Uncertainty）：源于数据本身的固有噪声，如测量误差或标注模糊，无法通过收集更多数据来减少
- 认知不确定性（Epistemic Uncertainty）：源于模型知识不足，可随训练数据增加而减少
贝叶斯神经网络（BNN）通过计算参数的后验分布来建模不确定性，但由于精确计算在大型模型中难以实现，实践中通常采用近似方法：
- 变分推断（Variational Inference）：用一个更简单的分布q(w)近似真实后验p(w|D)，通过优化证据下界（ELBO）来实现
- 拉普拉斯近似（Laplace Approximation）：在局部最大值处拟合高斯分布，协方差由逆海森矩阵给出
- 线性化拉普拉斯近似（LLA）：通过广义高斯-牛顿矩阵近似海森矩阵，使输出分布也成为高斯分布，便于计算
- 马尔可夫链蒙特卡洛（MCMC）：通过随机梯度朗之万动力学（SGLD）等方法从后验分布中采样，理论上可收敛到精确后验
这些方法需要白盒访问模型参数，对基于API的黑盒模型适用性有限。
2. 集成策略方法
集成方法通过利用多个模型版本或输出之间的多样性来估计不确定性，可分为三类：
- 基于方差的方法：如蒙特卡罗Dropout和深度集成，通过预测之间的方差衡量不确定性
- 基于一致性的方法：特别适用于黑盒LLM，通过多次生成响应之间的一致性来评估不确定性。包括普通方法（同一提示多次呈现）、对抗性方法（对输入引入扰动）和重新验证方法（LLM检查自身响应的一致性）
- 基于相似性的方法：通过测量多个响应之间的语义相似性提供连续的不确定性估计，常采用自然语言推理（NLI）模型计算相似度
3. 信息论方法
信息论度量提供了一种原则性的量化方法，特别适用于能输出令牌概率分布的模型：
- 预测熵：衡量输出分布中的不确定性，H(Y∣X)=−∑yp(y∣x)logp(y∣x)
- 语义熵：在计算熵之前对语义等效的响应进行聚合，更准确地反映真实不确定性
二、面向推理过程的专门方法
1. 共形预测方法
针对大型推理模型（LRM），传统方法无法为推理答案的生成提供有限样本保证。共形推理-答案预测（CoRAP）框架 提出了联合量化推理-答案结构不确定性的方法，定义了三个质量函数：
- 序列质量函数：衡量完整响应的合理性
- 集合置信度函数：确保集合中至少有一个候选序列具有高置信度
- 条件答案质量函数：评估模型在给定推理条件下的答案质量
该方法提供了统计上严格的保证，并开发了基于Shapley值的解释框架来识别关键训练示例和推理步骤。
2. 过程级不确定性建模
上海AI Lab提出的RePro方法 从优化视角重塑推理过程，将推理轨迹视为在损失曲面上寻找最优解的路径。其核心思想包括：
- 代理目标函数J：量化模型在当前推理上下文下对正确答案的置信度，有效推理路径上J会平稳上升
- 双重评分机制 ：
- 强度评分（Magnitude Score）：衡量推理对答案信心的提升幅度
- 稳定性评分（Stability Score）：使用Kendall's Tau相关系数衡量推理路径是否平滑上升
- 熵值筛选策略：只对推理链中熵最高的关键段落进行奖励计算，在模型最迷茫的时刻给予指引
这种方法不仅提高了准确率，还显著减少了推理token数量和回溯行为。
三、面向实际部署的实用方法
1. 不确定性感知微调
通过直接修改损失函数，对最终错误的预测给予更高的不确定性奖励，从而产生更可靠的估计。不确定性敏感调优方法教会模型在高不确定性情况下进行弃权（abstention），同时保持校准能力。
2. 量化技术
虽然量化主要用于加速推理，但不同的量化策略（FP32、FP16、BF16、INT8、INT4）对模型的校准能力有显著影响。选择合适的量化精度需要在效率与不确定性估计可靠性之间取得平衡。
四、方法对比与选择建议
|----------|-----------|----------|----------|-----------|
| 方法类别 | 适用场景 | 计算开销 | 理论保证 | 黑盒兼容性 |
| 贝叶斯推断 | 白盒模型、研究场景 | 高 | 强 | 低 |
| 集成策略 | 通用场景 | 中高 | 中 | 高 |
| 信息论方法 | 有概率输出的模型 | 低 | 中 | 中 |
| 共形预测 | 推理模型 | 中 | 强 | 中 |
| 过程级方法 | 长推理链 | 中 | 中 | 中 |
在实际应用中，最有效的方法往往是组合多种策略。对于需要高可靠性的场景，建议采用贝叶斯或共形预测方法提供理论保证；对于计算资源受限的场景，基于一致性的方法和信息论方法更为实用；而对于长推理链模型，过程级不确定性建模正展现出显著优势