CatBoost 入门指南：类别特征为什么不用 One-Hot？Python 实战与 5 个坑

CatBoost 入门指南：类别特征不用再 One-Hot，Python 实战与 5 个坑

XGBoost 和 LightGBM 你已经调得很熟了，但只要数据里有一堆字符串类型的类别列，就免不了一段重复劳动：pd.get_dummies() 一下炸出几百列，或者 LabelEncoder 随手写上却悄悄引入了不存在的大小关系。

CatBoost 解决的就是这一件事------类别特征可以直接喂进去，不用你做任何编码。名字里的 "Cat" 就是 Categorical。

这篇文章讲清楚四件事：CatBoost 为什么敢直接吃类别特征、它的三板斧各自解决什么问题、Python 从训练到调参的完整代码、以及我踩过的 5 个坑。看完你能把手里的 XGBoost / LightGBM 代码低成本迁移过去，也知道什么场景下不该迁。

一、先说清楚：类别特征到底难在哪

把类别列塞进树模型，常见做法是 One-Hot 或 Label Encoding，但两者都有代价：

One-Hot 的问题：类别基数一高（比如"城市""商品 ID"），列数爆炸，树要在大量稀疏的 0/1 里找分裂，既慢又容易过拟合。

Label Encoding 的问题更隐蔽 ：你给"北京=0、上海=1、广州=2"编了号，树在找分裂阈值时会自然地按 ≤1 切------但北京和上海之间本没有数值大小关系，这个切分是凭空捏造的。

真正麻烦的其实是第三种做法。很多人会用目标编码 （Target Encoding）：把每个类别替换成该类别下标签的均值。这个信号很强，强到会带来 target leakage------尤其当某个类别只出现一两次时，它的编码值几乎等于那一条样本的标签本身，模型直接背答案，线下指标虚高、线上拉垮。

CatBoost 的核心贡献，就是给出一个不泄漏的目标编码方案。

二、CatBoost 的三板斧

1. Ordered Target Statistics（排序目标统计）

这是 CatBoost 最关键的机制。它对每个样本算类别编码时，只用"排在它之前"的样本来计算，而不是用全量数据。

具体做法是：先对训练集做一次随机排列，然后逐样本累积------第 i 个样本的类别编码，只由排列中前 i-1 个同类别样本的标签均值算出。这样当前样本自己的标签永远不会进入它的编码值，leakage 从机制上被掐掉了。

代价是训练变慢、且依赖排列顺序，所以 CatBoost 实际会用多个排列取平均来稳住结果。

2. 对称树（Symmetric / Oblivious Trees）

LightGBM 的树是"非对称"的，左右子树可以长出完全不同的深度。CatBoost 反过来，整棵树每一层都用同一个分裂特征和同一个阈值------这就是"对称"。

好处很实在：

• 预测极快：判断一条样本走哪条路，等价于在每层做一次比较，可以向量化，也能直接编译成 CPU 指令。CatBoost 的推理速度常常比训练时的对手快一个量级。
• 天然抗过拟合：树的结构受限，模型复杂度上不去，等于自带正则。

代价是拟合灵活度下降，所以在小数据集上偶尔打不过 LightGBM 的精细分裂。

3. Ordered Boosting（有序提升）

传统的梯度提升有个隐藏偏差：每一轮算残差时用的模型，是用包含当前样本在内的数据训出来的，这会让梯度估计偏乐观。CatBoost 的训练模式里可以选择用"剔除当前样本的模型"来算梯度，缓解这个偏差。

注意 ：Ordered 模式只建议在小数据集上开（boosting_type='Ordered'）。数据一大，计算量吃不消，默认的 Plain 模式通常就够。

三、Python 实战：从安装到预测

安装与数据准备

pip install catboost

用一个自带类别特征的数据集演示（这里用 sklearn 的 adult 风格数据，你也可以换成自己的）：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
from catboost import CatBoostClassifier, Pool

df = pd.read_csv("your_data.csv")
y = df["label"]
X = df.drop(columns=["label"])

# 关键一步：把类别列的「列名或索引」告诉 CatBoost
cat_features = ["city", "device", "channel", "occupation"]

X_train, X_valid, y_train, y_valid = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

训练（最简写法）

model = CatBoostClassifier(
    iterations=1000,
    learning_rate=0.05,
    depth=6,
    loss_function="Logloss",
    eval_metric="AUC",
    cat_features=cat_features,     # 直接传列名
    random_seed=42,
    verbose=100,
)

model.fit(
    X_train, y_train,
    eval_set=(X_valid, y_valid),
    use_best_model=True,      # 保留验证集最优轮
    early_stopping_rounds=100,
)

proba = model.predict_proba(X_valid)[:, 1]
print("AUC:", roc_auc_score(y_valid, proba))

可以看到，全程没有做任何编码 。cat_features 传列名（或列索引）就够了。

用 Pool 提速（推荐）

如果要在同一份数据上反复训练，Pool 会把类别特征的统计量预先算好缓存下来，能省掉重复计算：

train_pool = Pool(X_train, y_train, cat_features=cat_features)
valid_pool = Pool(X_valid, y_valid, cat_features=cat_features)

model.fit(train_pool, eval_set=valid_pool, use_best_model=True)

调参：真正值得动的几个

model = CatBoostClassifier(
    iterations=2000,
    learning_rate=0.03,
    depth=6,                    # 对称树，4~8 足够，别超过 10
    l2_leaf_reg=3,              # 叶子 L2，抗过拟合的主力
    border_count=128,           # 数值特征分箱数，默认即可
    bagging_temperature=0.5,    # 类似贝叶斯 bagging，越大越随机
    random_strength=1,          # 分裂打分噪声，抗过拟合
    one_hot_max_size=10,        # 基数 ≤10 的类别走 one-hot
    cat_features=cat_features,
    task_type="CPU",            # 有 GPU 改成 "GPU"
    verbose=200,
)

其中 one_hot_max_size 是个容易忽略但很实用的参数：基数很小的类别（比如"性别"）走 One-Hot 反而更快更稳，CatBoost 会对这部分自动切回 One-Hot 处理。

特征重要性

import matplotlib.pyplot as plt

imp = model.get_feature_importance(prettified=True)  # 需要用 Pool 训练才有名字
print(imp.head(15))

四、三剑客怎么选

维度	XGBoost	LightGBM	CatBoost
类别特征	需自行编码	支持 categorical_feature（内部做类似统计）	原生支持，机制最严谨
训练速度	中	最快	较慢（排列统计开销）
预测速度	快	快	最快（对称树）
过拟合控制	靠正则参数	需调参会过拟合	自带正则，最省心
小数据集	一般	容易过拟合	表现最稳
调参成本	高	中	低（默认参数就很能打）
生态/资料	最丰富	丰富	较少

一句话结论：类别特征多、数据量中等、想少调参 → 选 CatBoost；数据量大、追求训练速度 → 还在 LightGBM；需要社区方案和深度定制 → XGBoost。

五、我踩过的 5 个坑

1. 类别列里有 NaN，直接报错。 CatBoost 不接受类别列的缺失值（数值列的缺失它内部能处理）。类别列的空值必须先填成字符串常量：

X["city"] = X["city"].fillna("__MISSING__").astype(str)

2. 传了列名，但 fit 后又改了 DataFrame 的列顺序。 cat_features 传索引时是按位置的，列一变就错位。稳妥做法：一律传列名 ，或者干脆用 Pool 把数据和列绑定在一起。

3. verbose 不开，训练像卡死。 CatBoost 默认 1000 轮静默训练，终端毫无输出。第一次用建议 verbose=100，或者加上 plot=True（需要 matplotlib）直接看学习曲线。

4. 测试集类别里出现了训练集没见过的取值。 它会被当作特殊的"未知类别"处理，不会崩，但预测质量会掉。上线前建议统计一下新类别占比，高的话要重新训练或做映射兜底。

5. 把 cat_features 和独热编码一起用了。 既然交给 CatBoost 处理，就别再 get_dummies() 了，两套机制叠加只会让特征冗余、训练变慢。二选一。

最后

CatBoost 不是一个"全面超越 XGBoost"的东西，它精准解决的是类别特征 + 少调参 这个具体场景。如果你的数据里有一堆字符串列，且你不想再为编码方式纠结，值得花半小时把现有代码迁过去试一次------通常你只需要加一行 cat_features=。

你现在树模型的类别特征是怎么处理的？One-Hot、目标编码，还是直接扔给 CatBoost？评论区聊聊你踩过的坑。