信息熵

决策树（人工智能期末复习）信息熵：随机事件未按照某个属性的不同取值划分时的熵减去按照某个属性的不同取值划分时的平均熵。即前后两次熵的差值。表示事物的混乱程度，熵越大表示混乱程度越大，越小表示混乱程度越小。对于随机事件，如果它的取值有N种情况，每种情况发生的概率为P，那么这件事的熵为：

一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数1. 熵是一个物理学概念，它表示一个系统的不确定性程度，或者说是一个系统的混乱程度。2. 信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为 “香农熵” 或者 “信息熵”。