机器学习·L2W4-决策树

决策树

  • 从根节点的所有示例开始
  • 计算所有可能特征的分割信息增益,并选择信息增益最高的特征
  • 根据所选特征分割数据集,并创建树的左分支和右分支
  • 不断重复分割过程,直到满足停止条件

信息增益

也可以理解为信息熵的减少
p p p是结果为positive的概率

Information Gain = H ( p 1 node ) − ( w left H ( p 1 left ) + w right H ( p 1 right ) ) , \text{Information Gain} = H(p_1^\text{node})- \left(w^{\text{left}}H\left(p_1^\text{left}\right) + w^{\text{right}}H\left(p_1^\text{right}\right)\right), Information Gain=H(p1node)−(wleftH(p1left)+wrightH(p1right)),

划分依据

信息熵

与逻辑回归的SparseCategoricalCrossentropy函数定义一致

H ( p 1 ) = − p 1 log 2 ( p 1 ) − ( 1 − p 1 ) log 2 ( 1 − p 1 ) H(p_1) = -p_1 \text{log}_2(p_1) - (1- p_1) \text{log}_2(1- p_1) H(p1)=−p1log2(p1)−(1−p1)log2(1−p1)

基尼指数

多标签分类

  • 一次性编码:将多个标签的分类划分为多个0-1变量
  • 不进行操作,决策树也能运行:只需要更改信息熵计算公式即可!

回归树

树划分的标准为:

max ⁡ : v a r r o o t − ( w l e f t ∗ v a r l e f t + w r i g h t ∗ v a r r i g h t ) \max :var_{root}-\left(w_{left}*var_{left}+w_{right}*var_{right}\right) max:varroot−(wleft∗varleft+wright∗varright)

输出的结果为数据集的均值

随机森林

随机森林每次从n个样本中抽取 n \sqrt{n} n 个特征作为划分的标准,可以避免形成对于特定特征局部一致的决策树

决策树模型中的所有超参数也将存在于此算法中,因为随机森林是许多决策树的集合。

  • 随机森林的另一个超参数称为 n_estimators,它是组成随机森林的决策树的数量。

    请记住,对于随机森林,我们随机选择特征子集并随机选择训练示例子集来训练每棵树。

  • 按照讲座,如果n是特征数量,我们将随机选择 n \sqrt{n} n 这些特征来训练每棵树。请注意,您可以通过设置 max_features 参数来修改它。

  • 您还可以使用另一个参数 n_jobs 加快训练作业的速度。

    由于每棵树的拟合彼此独立,因此可以并行拟合多棵树。

    因此,将 n_jobs 设置得更高将增加其使用的 CPU 核心数。

python 复制代码
model=RandomForestClassifier(min_samples_split=min_samples).fit(X_train,Y_train)
    y_train=model.predict(X_train)
    y_cv=model.predict(X_cv)
    
    accuracy_train=accuracy_score(y_train,Y_train)
    accuracy_cv=accuracy_score(y_cv,Y_cv)
    
    accuracy_list_train.append(accuracy_train)
    accuracy_list_cv.append(accuracy_cv)

XGBOOST

核心思想:刻意 挑选哪些训练效果不好(分类或者预测效果差)的样本用于训练决策树

梯度提升模型,称为 XGBoost。提升方法训练多棵树,但它们彼此之间不再互不相关,而是一棵树接一棵树地拟合,以最小化误差。

该模型具有与决策树相同的参数,加上学习率。

学习率是梯度下降法的步骤大小,XGBoost 在内部使用该方法来最小化每个训练步骤中的误差。

XGBoost 的一个有趣之处在于,在拟合过程中,它可以采用形式为 (X_val,y_val) 的评估数据集。

在每次迭代中,它都会测量评估数据集上的成本(或评估指标)。

一旦成本(或指标)在一定轮次(称为 early_stopping_rounds)内停止下降,训练就会停止。

迭代次数越多,估计量就越多,而估计量越多,则会导致过度拟合。

python 复制代码
from xgboost import callback
early_stopping = callback.EarlyStopping(rounds=20, save_best=True, maximize=False)
#%%
xgb_model=XGBClassifier(n_estimators=500,learning_rate=0.1)
xgb_model.fit(X_train,Y_train,eval_set=[(X_cv,Y_cv)])

剪枝

预剪枝

采用贪心策略,划分时分别计算划分前后的验证集的准确度,决定是否划分特征

不一定有更好的泛化性能

后剪枝

建立完整个决策树后才剪枝,一般泛化性能更强,但是时间开销更大

连续与缺失

连续值-二分法

设定一个阈值,用于划分左右子树,该阈值使得信息增益最大化。

缺失值处理

决策树可以很好的处理数据有缺失值的情况,基本的原理就是给每一个数据加权重,划分时将缺失数据全部加入到所有类别的子集中,修改权重

公式如下:

更新日记

  • 8.9:更新了周志华机器学习一书中第四章的部分内容。
相关推荐
学术小八20 分钟前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
仗剑_走天涯1 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
cnbestec2 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl2 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji3 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头5 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域5 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊6 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻6 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务6 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观