机器学习｜决策树

左图的点是一种线性不可分的情况，无法拿一条直线去将进行分开。

每一个节点都代表一个决策，从而导致节点的分流。

最终的目标肯定是要达到分类。

但取得目标的过程是有所谓的好坏。

而这个好坏用熵/信息增益来衡量。

熵是一种用于反映系统混乱程度的物理量。

信息增益用于反映新系统和旧系统的熵差。

熵的差值越大，说明这个分法能够导致系统更加稳定，效果更好。