XGBClassifiler函数介绍

目录

前言

XGBClassifier 是 XGBoost 库中用于分类任务的类。XGBoost 是一种高效且灵活的梯度提升决策树(GBDT)实现,它在多种机器学习竞赛中表现出色,尤其擅长处理表格数据。

函数介绍

python 复制代码
XGBClassifiler(max_depth=3,learning_rate=0.1,n_estimators=100,objective='binary:logistic',
booster='gbtree',gamma=0,min_child_weight=1,reg_alpha=0,
reg_lambda=1,missing=None
)
  1. max_depth;用于指定每个基础模型所包含的最大深度,默认为3层
  2. learning_rate:用于指定模型迭代的学习率或步长,默认为0.1;即对应的梯度提升模型 F T ( x ) F_T(x) FT(x)可以表示为:
    F T ( x ) = F T − 1 ( x ) + υ f t ( x ) F_T(x) =F_{T-1}(x) + \upsilon f_t(x) FT(x)=FT−1(x)+υft(x),其中的 υ \upsilon υ就是该参数的指定值,默认值为1;对于较小的学习率 υ \upsilon υ而言,则需要迭代更多次的基础分类器,通常情况下需要利用交叉验证法确定合理的基础模型的个数和学习率。
  3. n_estimators:用于指定基础模型的数量,默认为100个。
  4. object:用于指定目标函数中的损失函数类型,对于分类型的XGBoost算法,默认的损失函数为二分类的Logistic损失(模型返回概率值),也可以是'multi:softmax'表示用于处理多分类的损失函数(模型返回类别值),还可以是'multi:softprob',与'multi:softmax'相同,所不同的是模型返回各类别对应的概率值;对于预测型的XGBoost算法,默认的损失函数为线性回归损失。
  5. booster:用于指定基础模型的类型,默认为'gbtree',即CART模型,也可以是'gblinear',表示基础模型为线性模型。
  6. gamma:用于指定节点分割所需的最小损失函数的下降值,即增益值Gain的阈值,默认为0;
  7. min_child_weight:用于指定叶子节点中各样本点二阶导之和的最小值,即H_i的最小值,默认为1,该参数的值越小,模型越容易过拟合。
  8. reg_alpha:用于指定L1正则项的系数,默认为0;
  9. reg_lambda:用于指定L2正则项的系数,默认为1;
  10. missing:用于指定缺失值的表示方法,默认为None,表示NaN即为默认值。

示例

python 复制代码
import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据
data = load_iris()
X, y = data.data, data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 初始化 XGBClassifier
model = xgb.XGBClassifier(use_label_encoder=False, eval_metric='mlogloss')

# 训练模型
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy*100:.2f}%")
相关推荐
小王2044 小时前
Day 41:模型注意力机制 — SE / CBAM / ECA
python·深度学习·机器学习
别动我齐刘海4 小时前
Linux 系统调试学习2
linux·运维·c++·人工智能·学习·机器学习·机器人
171320330计算机毕设编程4 小时前
计算机毕业设计 基于YOLO改进算法的车辆特征识别系统设计与实现--lw
java·大数据·python·sql·算法
地理探险家4 小时前
从零实现图片自动分类:数据准备、模型训练与单图预测
人工智能·深度学习·机器学习·分类·数据挖掘·数据集
姜鱼问生4 小时前
Nginx gzip 压缩:一个配置让页面加载快 3 倍
后端·算法·架构
不会就选b4 小时前
算法日常・每日刷题--<动态规划>23
算法·动态规划
GreatSQL社区5 小时前
主从复制SQL线程中断——字符集砸出的坑
java·数据库·算法
Tisfy6 小时前
LeetCode 2333.最小差值平方和:排序 + 数学计算(不用二分)
数学·算法·leetcode·题解·贪心·排序
aqiu1111116 小时前
【C++算法打怪专栏】LeetCode 217. 存在重复元素(解法总结)
c++·算法·leetcode
frankzch6 小时前
微软 137B 编码模型搬到 PC:端侧推理与 Agent 权限防线
人工智能·深度学习·microsoft·机器学习·语言模型