玻尔兹曼分布与玻尔兹曼探索

目录

玻尔兹曼分布定义

玻尔兹曼探索:

[1. 玻尔兹曼分布公式](#1. 玻尔兹曼分布公式)

[2. 温度 T 如何影响采样结果?](#2. 温度 T 如何影响采样结果?)

[(1) 高温 (T→∞):](#(1) 高温 (T→∞):)

[(2) 低温 (T→0+):](#(2) 低温 (T→0+):)

[(3) 中等温度 (T∈(0,∞)):](#(3) 中等温度 (T∈(0,∞)):)

[3. 直观示例](#3. 直观示例)

[4. 实际应用中的意义](#4. 实际应用中的意义)

[5.核心误区澄清:选择机制 ≠ 贪心](#5.核心误区澄清:选择机制 ≠ 贪心)

总结

参考:


玻尔兹曼分布定义

统计力学数学中,玻尔兹曼分布 (英语:Boltzmann distribution),或称吉布斯分布 (英语:Gibbs distribution)[1],是一种概率分布概率测度,它给出一个系统处于某种状态的概率,是该状态的能量及温度的函数。该分布以下列形式表示:

其中pi是系统处于状态i的概率,εi是该状态的能量,kT为玻尔兹曼常数k和热力学温度T的乘积。符号∝表示比例(比例常数见§ 分布形式)。

两种状态的概率比称为玻尔兹曼因子,其特征在于其仅取决于两状态之能量差:

其中,pi为状态i的概率,pj为状态j的概率,而ϵi和ϵj分别为状态i和状态j的能量。两能量对应的概率比,必须考虑它们的简并能级

该分布表明,低能量的状态比起高能量的状态具有较高的分布概率。同时,它也能够定量地比较两能级分布概率的关系。

玻尔兹曼分布是状态能量与系统温度的概率分布函数,给出了粒子处于特定状态下的概率[7]。其具有以下形式:

其中pi为状态i的概率,ϵi为状态i之能量, k为玻尔兹曼常数,T为系统的绝对温度,而M是系统中我们有兴趣且可知的状态数量。 分母为归一化常数Q,这个结果源自于所有可能状态的概率之和必须为1的约束条件。

玻尔兹曼分布是使最大化的分布。

玻尔兹曼探索:

在玻尔兹曼探索(Boltzmann Exploration)中,温度系数 TT 是一个关键的超参数,它直接控制着动作选择策略的探索-利用权衡 (Exploration-Exploitation Trade-off)。温度 TT 的变化会显著改变动作概率分布的形状,但不会改变动作价值(Q值)的相对排序。以下详细解释:

1. 玻尔兹曼分布公式

动作 a 被选择的概率由玻尔兹曼分布(Softmax 函数)给出:

其中:

  • Q(a)是动作 aa 的价值估计,

  • T>0 是温度系数,

  • 分母是所有动作的指数值之和。

2. 温度 T 如何影响采样结果?

(1) 高温 (T→∞):
  • 效果:所有动作的概率趋近均匀分布。

  • 数学解释

  • 行为 :智能体完全随机探索,忽略动作的价值差异。

(2) 低温 (T→0+):
  • 效果:概率集中在价值最高的动作上。

  • 数学解释

  • 行为 :智能体趋于贪心策略(纯利用),几乎不探索。

(3) 中等温度 (T∈(0,∞)):
  • T越大:动作概率分布越平缓(高熵,高探索性)。

  • T 越小:分布越尖锐(低熵,高利用性)。

3. 直观示例

假设三个动作的 Q 值:Q(a1)=3, Q(a2)=2, Q(a3)=1:

温度 TT P(a1)P(a1​) P(a2)P(a2​) P(a3)P(a3​) 分布特性
T=10 0.36 0.33 0.31 接近均匀分布
T=1 0.67 0.24 0.09 适度偏向最优动作
T=0.1 0.999 3.7×10−4 1.4×10−9 几乎贪心选择最优

✅ 始终满足 P(a1)>P(a2)>P(a3),但概率差异随 TT 减小而急剧增大

4. 实际应用中的意义

  • 退火策略(Annealing)

    实践中常从高温开始(充分探索),逐渐降低 TT(增加利用),平衡学习过程。

  • 超参数调优

    TT 需根据问题调整:

    • 高噪声环境 → 更高 TT(避免过早收敛到次优解)

    • 确定性环境 → 更低 TT(快速利用已知最优解)。

5.核心误区澄清:选择机制 ≠ 贪心

  • 误解

    "先计算概率分布 → 再选择概率最大的动作 = 贪心策略"

  • 现实

    玻尔兹曼探索的最终动作选择是依概率采样(Stochastic Sampling) ,而非固定选择最大概率动作。
    代码实现伪代码:

python 复制代码
def boltzmann_exploration(Q_values, T):
    # 计算所有动作的指数权重
    exp_values = np.exp(Q_values / T)
    # 计算概率分布 (Softmax)
    probs = exp_values / np.sum(exp_values)
    # 关键步骤:按概率分布随机采样一个动作
    chosen_action = np.random.choice(actions, p=probs)
    return chosen_action

总结

  • 玻尔兹曼探索的探索性来自随机采样,而非直接选择最大概率动作。

  • 温度 TT 通过调节概率分布的平坦度控制采样随机性

    • 高 TT → 分布平坦 → 采样结果多样性高 → 强探索

    • 低 TT → 分布尖锐 → 采样结果集中在最优动作 → 弱探索

  • 贪心策略是 Boltzmann 在 T→0+T→0+ 时的极限情况,正常 T>0T>0 时必有探索行为。

这种设计使智能体能在利用已知高价值动作 的同时,智能地探索潜在有价值的替代动作(而非完全盲目随机),是平衡探索-利用的理想策略之一。

参考:

https://zh.wikipedia.org/wiki/%E7%8E%BB%E5%B0%94%E5%85%B9%E6%9B%BC%E5%88%86%E5%B8%83

相关推荐
好好先森&6 分钟前
C语言:冒泡排序
c语言·数据结构·算法·遍历·冒牌排序
wow_DG6 分钟前
【PyTorch✨】01 初识PyTorch
人工智能·pytorch·python
海绵波波10718 分钟前
解读LISA:通过大型语言模型实现推理分割
人工智能·语言模型·自然语言处理
李永奉41 分钟前
C语言-字符串(定义)、字符串函数(strlen、strcat、strcpy、strcmp、strlwr、strupr)
c语言·开发语言·算法
昨日之日200643 分钟前
FLUX.1 Kontext Dev V2版 - 消费级显卡(6G显存)畅玩的AI修图神器 支持批量 支持多图融合编辑 支持50系显卡 一键整合包下载
人工智能
海森大数据1 小时前
神经网络“开窍”时刻:从死记位置到理解意义的语言奇点
人工智能·深度学习·神经网络
贾全1 小时前
Transformer架构全解析:搭建AI的“神经网络大厦“
人工智能·神经网络·ai·语言模型·自然语言处理·架构·transformer
这是一只菜狗啊1 小时前
使用神经网络与5折交叉验证进行基因组预测:基础知识指南
人工智能·深度学习·神经网络
缘友一世1 小时前
Agents-SDK智能体开发[1]之入门
人工智能·agent·agents_sdk
啊阿狸不会拉杆1 小时前
《Java 程序设计》核心知识点梳理与深入探究
java·开发语言·python·算法·php·intellij-idea