深度学习中的温度参数(Temperature Parameter)是什么?

参考:温度系数是可学习的参数,会在训练过程中被优化器更新。

深度学习中的温度参数(Temperature Parameter)是什么?-CSDN博客

1. 温度系数的作用机制

当增大T 的值时,分布变得更加的平坦(较大的值变得更小,较小的值变得更大);当减小T 的值使,分布变得更加尖峰(较大的值变得更大,较小的值变得更小)。

也就是说:

温度系数越小,分布越尖锐(温度系数控制剪碎程度的)

比如attention中计算每个token的得分的时候,在计算score的时候加了温度系数:

2. 为什么要这样做?

防止注意力崩溃到均匀分布:

在训练中,attn_guide_loss 使用 label smoothing 的 soft target(接近均匀分布)来监督注意力权重。如果没有温度下限约束,优化器会:

  1. 不断降低 temperature → 让 softmax 变得更平滑(趋向均匀)

  2. 极端情况 :temperature → 0 时,softmax 完全均匀分布

  3. 这会导致 ATT模块无法聚焦到真正重要的 token,失去了 attention pooling 的意义

3. 实际例子

假设有 77 个 token(含 padding):

  • temperature = 2.0:注意力权重相对均匀,每个 token 权重约 1.3%

  • temperature = 0.5:注意力更集中,可能 top-5 token 占 80% 权重

  • temperature = 0.1:极度集中,top-1 token 可能占 99%+ 权重

通过 clamp temperature ≥ 1.0,防止 softmax 过于均匀,保持注意力机制的选择性。

相关推荐
吴佳浩3 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_097 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区8 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔8 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区8 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1239 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI9 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健9 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV9 小时前
Google 重返第一梯队
人工智能·google·aigc