XGB-17:模型截距

在 XGBoost 中,模型截距(也称为基本分数)是一个值,表示在考虑任何特征之前模型的起始预测。它本质上是处理回归任务时训练数据的平均目标值,或者是分类任务的赔率对数。

在 XGBoost 中,每个叶子节点都会输出一个分数,而模型的最终预测是将所有叶子节点的分数相加得到的。这些分数在树的训练过程中被学习得到,但当没有任何输入特征时,模型需要一个基准值,这就是截距的作用。

从2.0.0版本开始,XGBoost支持在训练时根据目标值自动估计模型截距(名为base_score)。该行为可以通过将base_score设置为常数来控制。以下代码段禁用了自动估计:

python 复制代码
import xgboost as xgb

reg = xgb.XGBRegressor()
reg.set_params(base_score=0.5)

此外,这里的0.5代表应用逆链接函数后的值。

除了base_score之外,用户还可以通过数据字段base_margin提供全局偏置,这个字段是一个向量或矩阵,取决于任务的类型。对于多输出和多分类任务,base_margin是一个大小为(n_samples, n_targets)(n_samples, n_classes)的矩阵。

python 复制代码
import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression()

reg = xgb.XGBRegressor()
reg.fit(X, y)

# Request for raw prediction
m = reg.predict(X, output_margin=True)

reg_1 = xgb.XGBRegressor()
# Feed the prediction into the next model
reg_1.fit(X, y, base_margin=m)
reg_1.predict(X, base_margin=m)

它为每个样本指定了偏置,并可以用于将XGBoost模型堆叠在其他模型之上,有关从预测中提升的示例,请参见Demo。当指定了base_margin时,它会自动覆盖base_score参数。如果正在堆叠XGBoost模型,那么使用应该是相对直接的,前面的模型提供原始预测,而新模型使用预测作为偏置。对于更自定义的输入,用户需要额外注意链接函数。设F为模型,g为链接函数,由于当样本特定的base_margin可用时base_score会被覆盖:

g ( E [ y i ] ) = F ( x i ) g(E[y_i]) = F(x_i) g(E[yi])=F(xi)

当提供基线偏置(base margin)b时,它会加到模型的原始输出F上。

g ( E [ y i ] ) = F ( x i ) + b i g(E[y_i]) = F(x_i) + b_i g(E[yi])=F(xi)+bi

并且最终模型的输出是:

g − 1 ( F ( x i ) + b i ) g^{-1}(F(x_i) + b_i) g−1(F(xi)+bi)

以使用伽马偏差目标函数reg:gamma为例,该函数具有对数链接函数,因此:

ln ⁡ ( E [ y i ] ) = F ( x i ) + b i E [ y i ] = exp ⁡ ( F ( x i ) + b i ) \begin{split}\ln{(E[y_i])} = F(x_i) + b_i \\ E[y_i] = \exp{(F(x_i) + b_i)}\end{split} ln(E[yi])=F(xi)+biE[yi]=exp(F(xi)+bi)

因此,如果正在输入来自具有相应目标函数的模型(如GLM)的输出,请确保这些输出尚未通过逆链接函数(激活函数)进行转换。

在估计之后,可以通过save_config()访问base_score(截距)。与base_margin不同,返回的值代表应用逆链接函数后的值。以逻辑回归和逻辑链接函数为例,给定base_score为0.5,

g ( i n t e r c e p t ) = l o g i t ( 0.5 ) = 0 g(intercept) = logit(0.5) = 0 g(intercept)=logit(0.5)=0会被加到模型的原始输出上:

E [ y i ] = g − 1 ( F ( x i ) + g ( i n t e r c e p t ) ) E[y_i] = g^{-1}{(F(x_i) + g(intercept))} E[yi]=g−1(F(xi)+g(intercept))

而0.5等同于 b a s e _ s c o r e = g − 1 ( 0 ) = 0.5 base\_score = g^{-1}(0) = 0.5 base_score=g−1(0)=0.5 。如果忽略模型并只考虑截距,这将更加直观,截距是在模型拟合之前估计的:

E [ y ] = g − 1 ( g ( i n t e r c e p t ) ) E [ y ] = i n t e r c e p t \begin{split}E[y] = g^{-1}{(g(intercept))} \\ E[y] = intercept\end{split} E[y]=g−1(g(intercept))E[y]=intercept

对于一些目标函数,如平均绝对误差(MAE),存在接近的解,而对于其他目标函数,则是使用一步牛顿方法进行估计。

参考

相关推荐
yannan201903137 分钟前
【算法】(Python)动态规划
python·算法·动态规划
MarkHD12 分钟前
第十一天 线性代数基础
线性代数·决策树·机器学习
打羽毛球吗️16 分钟前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
蒙娜丽宁17 分钟前
《Python OpenCV从菜鸟到高手》——零基础进阶,开启图像处理与计算机视觉的大门!
python·opencv·计算机视觉
光芒再现dev19 分钟前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
好喜欢吃红柚子33 分钟前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python37 分钟前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠1 小时前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
千天夜1 小时前
使用UDP协议传输视频流!(分片、缓存)
python·网络协议·udp·视频流