XGB-17:模型截距

在 XGBoost 中,模型截距(也称为基本分数)是一个值,表示在考虑任何特征之前模型的起始预测。它本质上是处理回归任务时训练数据的平均目标值,或者是分类任务的赔率对数。

在 XGBoost 中,每个叶子节点都会输出一个分数,而模型的最终预测是将所有叶子节点的分数相加得到的。这些分数在树的训练过程中被学习得到,但当没有任何输入特征时,模型需要一个基准值,这就是截距的作用。

从2.0.0版本开始,XGBoost支持在训练时根据目标值自动估计模型截距(名为base_score)。该行为可以通过将base_score设置为常数来控制。以下代码段禁用了自动估计:

python 复制代码
import xgboost as xgb

reg = xgb.XGBRegressor()
reg.set_params(base_score=0.5)

此外,这里的0.5代表应用逆链接函数后的值。

除了base_score之外,用户还可以通过数据字段base_margin提供全局偏置,这个字段是一个向量或矩阵,取决于任务的类型。对于多输出和多分类任务,base_margin是一个大小为(n_samples, n_targets)(n_samples, n_classes)的矩阵。

python 复制代码
import xgboost as xgb
from sklearn.datasets import make_regression

X, y = make_regression()

reg = xgb.XGBRegressor()
reg.fit(X, y)

# Request for raw prediction
m = reg.predict(X, output_margin=True)

reg_1 = xgb.XGBRegressor()
# Feed the prediction into the next model
reg_1.fit(X, y, base_margin=m)
reg_1.predict(X, base_margin=m)

它为每个样本指定了偏置,并可以用于将XGBoost模型堆叠在其他模型之上,有关从预测中提升的示例,请参见Demo。当指定了base_margin时,它会自动覆盖base_score参数。如果正在堆叠XGBoost模型,那么使用应该是相对直接的,前面的模型提供原始预测,而新模型使用预测作为偏置。对于更自定义的输入,用户需要额外注意链接函数。设F为模型,g为链接函数,由于当样本特定的base_margin可用时base_score会被覆盖:

g ( E [ y i ] ) = F ( x i ) g(E[y_i]) = F(x_i) g(E[yi])=F(xi)

当提供基线偏置(base margin)b时,它会加到模型的原始输出F上。

g ( E [ y i ] ) = F ( x i ) + b i g(E[y_i]) = F(x_i) + b_i g(E[yi])=F(xi)+bi

并且最终模型的输出是:

g − 1 ( F ( x i ) + b i ) g^{-1}(F(x_i) + b_i) g−1(F(xi)+bi)

以使用伽马偏差目标函数reg:gamma为例,该函数具有对数链接函数,因此:

ln ⁡ ( E [ y i ] ) = F ( x i ) + b i E [ y i ] = exp ⁡ ( F ( x i ) + b i ) \begin{split}\ln{(E[y_i])} = F(x_i) + b_i \\ E[y_i] = \exp{(F(x_i) + b_i)}\end{split} ln(E[yi])=F(xi)+biE[yi]=exp(F(xi)+bi)

因此,如果正在输入来自具有相应目标函数的模型(如GLM)的输出,请确保这些输出尚未通过逆链接函数(激活函数)进行转换。

在估计之后,可以通过save_config()访问base_score(截距)。与base_margin不同,返回的值代表应用逆链接函数后的值。以逻辑回归和逻辑链接函数为例,给定base_score为0.5,

g ( i n t e r c e p t ) = l o g i t ( 0.5 ) = 0 g(intercept) = logit(0.5) = 0 g(intercept)=logit(0.5)=0会被加到模型的原始输出上:

E [ y i ] = g − 1 ( F ( x i ) + g ( i n t e r c e p t ) ) E[y_i] = g^{-1}{(F(x_i) + g(intercept))} E[yi]=g−1(F(xi)+g(intercept))

而0.5等同于 b a s e _ s c o r e = g − 1 ( 0 ) = 0.5 base\_score = g^{-1}(0) = 0.5 base_score=g−1(0)=0.5 。如果忽略模型并只考虑截距,这将更加直观,截距是在模型拟合之前估计的:

E [ y ] = g − 1 ( g ( i n t e r c e p t ) ) E [ y ] = i n t e r c e p t \begin{split}E[y] = g^{-1}{(g(intercept))} \\ E[y] = intercept\end{split} E[y]=g−1(g(intercept))E[y]=intercept

对于一些目标函数,如平均绝对误差(MAE),存在接近的解,而对于其他目标函数,则是使用一步牛顿方法进行估计。

参考

相关推荐
databook9 小时前
Manim实现闪光轨迹特效
后端·python·动效
Juchecar10 小时前
解惑:NumPy 中 ndarray.ndim 到底是什么?
python
用户83562907805111 小时前
Python 删除 Excel 工作表中的空白行列
后端·python
Json_11 小时前
使用python-fastApi框架开发一个学校宿舍管理系统-前后端分离项目
后端·python·fastapi
数据智能老司机17 小时前
精通 Python 设计模式——分布式系统模式
python·设计模式·架构
数据智能老司机18 小时前
精通 Python 设计模式——并发与异步模式
python·设计模式·编程语言
数据智能老司机18 小时前
精通 Python 设计模式——测试模式
python·设计模式·架构
数据智能老司机18 小时前
精通 Python 设计模式——性能模式
python·设计模式·架构
c8i19 小时前
drf初步梳理
python·django
每日AI新事件19 小时前
python的异步函数
python