熵

CS创新实验室

熵概念的全面综述：从热力学到信息论再到深度学习熵作为物理学、信息论和现代科学中的核心概念，经历了从热力学函数到系统无序度度量，再到信息不确定性的量化的演变过程。熵不仅是热力学第二定律的数学表达，也是统计物理中微观状态数的量度，更是信息论中信息量的度量。本文将系统梳理熵概念的历史发展、理论内涵和现代应用，并探讨当前仍存在的未解问题。

信息熵介绍熵定义：信息熵是信息论中用于度量信息不确定性的单位量。简而言之，熵值用来告诉我们某件事情的结果到底有多难猜。

一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数1. 熵是一个物理学概念，它表示一个系统的不确定性程度，或者说是一个系统的混乱程度。2. 信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为 “香农熵” 或者 “信息熵”。

我是有底线的