决策树(2)

决策树算法

  1. ID3

核心是信息增益,即某个属性带来的熵增,信息增益越大,用该属性划分获得的"纯度提升"越大,故以此选择划分属性。

存在缺陷,其信息增益准则对可取值数目较多的属性有所偏好,例如可能会将"编号"作为最优划分。

  1. C4.5

采用信息增益率来选择划分属性,信息增益率的计算方式为信息增益除以该属性自身的熵。

  1. CART

以基尼指数作为划分依据,基尼指数\(Gini(D)\)反映了从数据集\(D\)中随机抽取两个样本,其类别标记不一致的概率。

其中\(p\)(某类别概率)越大,\(Gini(D)\)越小,数据集\(D\)的纯度越高。

连续值处理

对于连续值,可采用贪婪算法选取分界点,具体步骤为:先对连续值进行排序,然后考虑可能的二分分界点,这一过程实际上是"离散化"过程。例如,对于一系列Taxable Income值,可分割成\(TaxIn<=80\)和\(TaxIn>80\),或\(TaxIn<=97.5\)和\(TaxIn>97.5\)等。

决策树剪枝策略

剪枝原因:决策树过拟合风险很大,理论上可完全分开数据,故需剪枝。

预剪枝:边建立决策树边进行剪枝,更实用。可通过限制深度、叶子节点个数、叶子节点样本数、信息增益量等方式实现。

后剪枝:建立完决策树后进行剪枝。衡量标准为最终损失=自身的GINI系数值+α×叶子节点数量。α越大,越不易过拟合,但结果可能欠佳;α越小,更注重结果好坏,过拟合可能较严重。同时,会根据验证集精度决定是否剪枝,如某分支剪枝后精度提升则进行剪枝。

决策树代码实现

可通过`DecisionTreeClassifier()`创建决策树模型,其主要参数包括:

criterion`:可选gini(基尼系数)或者entropy(信息熵)。

splitter:可选best(在所有特征中找最好的切分点)或者random(在部分特征中找切分点)。

max_features:可选None(所有)、log2、sqrt、N。

max_depth:可选int或None,默认None,用于设置决策树的最大深度,深度越大越易过拟合,推荐深度在5-20之间。

预测泰坦尼克号

相关推荐
小杨勇敢飞32 分钟前
拼图小游戏开发日记 | Day3(已完结)
java·数据结构·算法
Guan jie34 分钟前
10.6作业
数据结构·算法·排序算法
haidizym43 分钟前
ssc-FinLLM 金融大模型 相关链接
人工智能·算法
Macre Aegir Thrym1 小时前
逻辑回归实践
算法·机器学习·逻辑回归
relis1 小时前
llama.cpp RMSNorm CUDA 优化分析报告
算法·llama
武子康1 小时前
AI-调查研究-95-具身智能 机器人场景测试全解析:从极端环境仿真到自动化故障注入
人工智能·深度学习·机器学习·ai·机器人·自动化·具身智能
chaofa用代码打点酱油1 小时前
RAG 进化之路:传统 RAG 到工具与强化学习双轮驱动的 Agentic RAG
算法·llm
一袋米扛几楼982 小时前
【机器学习】混淆矩阵(confusion matrix)TP TN FP FN
人工智能·机器学习·矩阵
一只小阿柒2 小时前
【无标题】
算法
无限进步_3 小时前
【C语言】寻找数组中唯一不重复的元素
c语言·开发语言·算法