熵

Mysticbinary25 天前
概率·熵
信息熵介绍熵定义： 信息熵是信息论中用于度量信息不确定性的单位量。 简而言之，熵值用来告诉我们某件事情的结果到底有多难猜。
冒冒菜菜2 年前
机器学习·softmax·熵·信息熵·kl散度·交叉熵·交叉损失函数
一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数1. 熵是一个物理学概念，它表示一个系统的不确定性程度，或者说是一个系统的混乱程度。2. 信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为 “香农熵” 或者 “信息熵”。