神经网络中log加替代直接乘的原因探索

这里尝试基于网络资料,探索神经网络里为什么常用log加,不直接乘的原因。

简单概括就是把乘法变加法,既好算、又稳定、还能求梯度。

1 对数把乘法变成加法

在模型里经常要算一堆概率连乘:

直接乘会有两个致命问题:数值下爆和溢出。

概率都在0~1之间,连乘几十次、上百次后,结果会小到 float 存不下,直接变成 0。

变成 0 后,没法求梯度、没法优化,后续模型训练就不再有效。

1.1 取log缓解下爆和溢出

取 log 后:

概率连乘变成了加法,数值稳定得多,不容易溢出。

1.2 计算梯度更简单

神经网络靠反向传播更新参数,需要导数。

1)对乘积求导,链式法则套很多层,容易出错,而且计算误差容易累积放大。

2)对和求导,由于是直接逐项求导,简单稳定,而且计算误差不容易累积放大。

所以损失函数、似然函数几乎都写成log 形式:

模型设计经常会用到最大化似然,最大化似然,给定条件下等价于最大化 log 似然。

这两者最优解完全一样,而且最大化 log 似然相比最大化似然容易计算。

2 常见转换场景示例

最大化乘积等价于最大化 log 和,而且变log加后代码简单,数值稳定不会下溢成 0,方便求导。

这里尝试给出多个这种 log 加转化场景的示例。

2.1 交叉熵损失

分类任务一般会采用如下损失函数:

其本质就是把概率乘积转成 log 求和。

2.2 极大似然估计

diffusion模型中会用到极大似然估计。

其实际代码实现则是

核心原因还是最大化 log 似然在最优解一致的情况下,更好计算,而且计算数值特征更稳定。

2.3 NLP困惑度

困惑度也采用类似思路,公式示例如下

整个计算过程全程在log空间,最后再exp转化回原始空间。

不经计算过程数值特征更稳定,减少溢出问题,而且计算方便快捷。

3 python代码示例

下面是可直接运行的 Python代码,对比了两种计算大数乘积的方法。

一种是直接相乘,另一种是利用对数性质(ln(a×b)=lna+lnb)来计算。

复制代码
import math

# 两个较大的数
a, b = 1e200, 1e200

# 方法 1:直接相乘 (会导致溢出,变成无穷大)
direct = a * b

# 方法 2:先取对数相加 (保持数值在可控范围内)
log_sum = math.log(a) + math.log(b)

print(f"直接相乘结果: {direct}")      # 输出: inf (溢出)
print(f"对数相加结果: {log_sum}")     # 输出: 921.034... (精确值)

运行结果如下所示

直接相乘结果: inf

对数相加结果: 921.0340371976183

inf在python中表示无穷,也就是实际不存在的数,此时一定发生了溢出。

直接乘a×b,结果inf (无穷大) ,发生数值溢出,导致计算失效。

采用Log加,即 ln(a)+ln(b),结果为921.03,相比原始巨大数数值的乘法,计算可控数值稳定。

也就是说,使用对数加法能避免精度丢失和溢出,是处理极小概率(连乘趋近于0)或极大数值(连乘趋近于无穷)的标准做法。⁡

reference


Log-sum-exp数值溢出如何避免?

https://ask.csdn.net/questions/9144558

相关推荐
AI导出鸭PC端2 分钟前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
AI导出鸭PC端18 分钟前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶20 分钟前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合1 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
知行产研2 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士2 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师2 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮2 小时前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架2 小时前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技2 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习