玻尔兹曼分布与玻尔兹曼探索

目录

玻尔兹曼分布定义

玻尔兹曼探索:

[1. 玻尔兹曼分布公式](#1. 玻尔兹曼分布公式)

[2. 温度 T 如何影响采样结果?](#2. 温度 T 如何影响采样结果?)

[(1) 高温 (T→∞):](#(1) 高温 (T→∞):)

[(2) 低温 (T→0+):](#(2) 低温 (T→0+):)

[(3) 中等温度 (T∈(0,∞)):](#(3) 中等温度 (T∈(0,∞)):)

[3. 直观示例](#3. 直观示例)

[4. 实际应用中的意义](#4. 实际应用中的意义)

[5.核心误区澄清:选择机制 ≠ 贪心](#5.核心误区澄清:选择机制 ≠ 贪心)

总结

参考:


玻尔兹曼分布定义

统计力学数学中,玻尔兹曼分布 (英语:Boltzmann distribution),或称吉布斯分布 (英语:Gibbs distribution)[1],是一种概率分布概率测度,它给出一个系统处于某种状态的概率,是该状态的能量及温度的函数。该分布以下列形式表示:

其中pi是系统处于状态i的概率,εi是该状态的能量,kT为玻尔兹曼常数k和热力学温度T的乘积。符号∝表示比例(比例常数见§ 分布形式)。

两种状态的概率比称为玻尔兹曼因子,其特征在于其仅取决于两状态之能量差:

其中,pi为状态i的概率,pj为状态j的概率,而ϵi和ϵj分别为状态i和状态j的能量。两能量对应的概率比,必须考虑它们的简并能级

该分布表明,低能量的状态比起高能量的状态具有较高的分布概率。同时,它也能够定量地比较两能级分布概率的关系。

玻尔兹曼分布是状态能量与系统温度的概率分布函数,给出了粒子处于特定状态下的概率[7]。其具有以下形式:

其中pi为状态i的概率,ϵi为状态i之能量, k为玻尔兹曼常数,T为系统的绝对温度,而M是系统中我们有兴趣且可知的状态数量。 分母为归一化常数Q,这个结果源自于所有可能状态的概率之和必须为1的约束条件。

玻尔兹曼分布是使最大化的分布。

玻尔兹曼探索:

在玻尔兹曼探索(Boltzmann Exploration)中,温度系数 TT 是一个关键的超参数,它直接控制着动作选择策略的探索-利用权衡 (Exploration-Exploitation Trade-off)。温度 TT 的变化会显著改变动作概率分布的形状,但不会改变动作价值(Q值)的相对排序。以下详细解释:

1. 玻尔兹曼分布公式

动作 a 被选择的概率由玻尔兹曼分布(Softmax 函数)给出:

其中:

  • Q(a)是动作 aa 的价值估计,

  • T>0 是温度系数,

  • 分母是所有动作的指数值之和。

2. 温度 T 如何影响采样结果?

(1) 高温 (T→∞):
  • 效果:所有动作的概率趋近均匀分布。

  • 数学解释

  • 行为 :智能体完全随机探索,忽略动作的价值差异。

(2) 低温 (T→0+):
  • 效果:概率集中在价值最高的动作上。

  • 数学解释

  • 行为 :智能体趋于贪心策略(纯利用),几乎不探索。

(3) 中等温度 (T∈(0,∞)):
  • T越大:动作概率分布越平缓(高熵,高探索性)。

  • T 越小:分布越尖锐(低熵,高利用性)。

3. 直观示例

假设三个动作的 Q 值:Q(a1)=3, Q(a2)=2, Q(a3)=1:

温度 TT P(a1)P(a1​) P(a2)P(a2​) P(a3)P(a3​) 分布特性
T=10 0.36 0.33 0.31 接近均匀分布
T=1 0.67 0.24 0.09 适度偏向最优动作
T=0.1 0.999 3.7×10−4 1.4×10−9 几乎贪心选择最优

✅ 始终满足 P(a1)>P(a2)>P(a3),但概率差异随 TT 减小而急剧增大

4. 实际应用中的意义

  • 退火策略(Annealing)

    实践中常从高温开始(充分探索),逐渐降低 TT(增加利用),平衡学习过程。

  • 超参数调优

    TT 需根据问题调整:

    • 高噪声环境 → 更高 TT(避免过早收敛到次优解)

    • 确定性环境 → 更低 TT(快速利用已知最优解)。

5.核心误区澄清:选择机制 ≠ 贪心

  • 误解

    "先计算概率分布 → 再选择概率最大的动作 = 贪心策略"

  • 现实

    玻尔兹曼探索的最终动作选择是依概率采样(Stochastic Sampling) ,而非固定选择最大概率动作。
    代码实现伪代码:

python 复制代码
def boltzmann_exploration(Q_values, T):
    # 计算所有动作的指数权重
    exp_values = np.exp(Q_values / T)
    # 计算概率分布 (Softmax)
    probs = exp_values / np.sum(exp_values)
    # 关键步骤:按概率分布随机采样一个动作
    chosen_action = np.random.choice(actions, p=probs)
    return chosen_action

总结

  • 玻尔兹曼探索的探索性来自随机采样,而非直接选择最大概率动作。

  • 温度 TT 通过调节概率分布的平坦度控制采样随机性

    • 高 TT → 分布平坦 → 采样结果多样性高 → 强探索

    • 低 TT → 分布尖锐 → 采样结果集中在最优动作 → 弱探索

  • 贪心策略是 Boltzmann 在 T→0+T→0+ 时的极限情况,正常 T>0T>0 时必有探索行为。

这种设计使智能体能在利用已知高价值动作 的同时,智能地探索潜在有价值的替代动作(而非完全盲目随机),是平衡探索-利用的理想策略之一。

参考:

https://zh.wikipedia.org/wiki/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E5%88%86%E5%B8%83

相关推荐
UrbanJazzerati16 分钟前
考研数学:使用有理根定理和多项式除法来解一元多次整系数方程
算法
vincent&lin23 分钟前
vLLM - GPUModelRunner
人工智能·vllm
点云侠23 分钟前
PCL 生成缺角立方体点云
开发语言·c++·人工智能·算法·计算机视觉
用户51914958484544 分钟前
在AI技术唾手可得的时代,挖掘JavaScript学习资源的新需求成为关键
人工智能·aigc
天选之女wow1 小时前
【代码随想录算法训练营——Day27(Day26休息)】贪心算法——455.分发饼干、376.摆动序列、53.最大子数组和
算法·leetcode·贪心算法
北邮刘老师1 小时前
【未来】智能体互联时代的商业模式变化和挑战:从HOM到AOM
人工智能·大模型·智能体·智能体互联网
东方芷兰1 小时前
LLM 笔记 —— 03 大语言模型安全性评定
人工智能·笔记·python·语言模型·自然语言处理·nlp·gpt-3
小树苗1931 小时前
Berachain稳定币使用指南:HONEY与跨链稳定币的协同之道
大数据·人工智能·区块链
不枯石1 小时前
Matlab通过GUI实现点云的Loss配准
图像处理·算法·计算机视觉·matlab
未知陨落1 小时前
LeetCode:84.完全平方数
算法·leetcode·动态规划