决策树调参技巧

一、核心调参参数解析

决策树的关键参数直接影响模型复杂度与泛化能力，需根据数据特点针对性调整：

参数	作用	推荐调整范围	影响效果
max_depth	树的最大深度，控制模型复杂度	3-10（分类） 5-15（回归）	深度↑：模型更复杂，易过拟合；深度↓：模型简单，可能欠拟合。
min_samples_split	节点分裂所需的最小样本数	2-20（分类） 10-100（回归）	值↑：限制树生长，防止过拟合；值↓：允许更细粒度分裂。
min_samples_leaf	叶子节点所需的最小样本数	1-10（分类） 5-50（回归）	值↑：平滑预测结果，减少噪声影响；值↓：可能捕捉局部噪声。
max_features	分裂时考虑的最大特征数	"sqrt"（√n）、"log2"、0.5-0.8	值↓：减少特征相关性影响，增加随机性（类似随机森林）。
criterion	分裂质量的评估标准	"gini"（分类） "mse"（回归）	"gini"计算更快，"entropy"对类别分布更敏感；回归任务可选"friedman_mse"。
class_weight	类别权重（处理不平衡数据）	"balanced"、自定义字典	提升少数类的权重，改善召回率。
ccp_alpha	代价复杂度剪枝的强度参数（后剪枝）	0.001-0.1	值↑：剪枝力度大，树更简单；需交叉验证选择最优值。

---

二、调参方法与工具

1. 网格搜索（Grid Search）

通过交叉验证寻找最优参数组合：

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import GridSearchCV

param_grid = {
    'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4],
    'max_features': ['sqrt', 'log2', None]
}

model = DecisionTreeClassifier()
grid_search = GridSearchCV(model, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

print("最佳参数：", grid_search.best_params_)
print("最佳得分：", grid_search.best_score_)

2. 随机搜索（Random Search）

适用于高维参数空间，效率更高：

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import randint

param_dist = {
    'max_depth': randint(3, 15),
    'min_samples_split': randint(2, 20),
    'min_samples_leaf': randint(1, 10)
}

random_search = RandomizedSearchCV(
    model, param_dist, n_iter=50, cv=5, scoring='accuracy', random_state=42
)
random_search.fit(X_train, y_train)

---

三、调参可视化分析

1. 学习曲线（Learning Curve）

观察模型在训练集与验证集上的表现，判断过拟合/欠拟合：

from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt

train_sizes, train_scores, val_scores = learning_curve(
    DecisionTreeClassifier(max_depth=5), X, y, cv=5, 
    train_sizes=np.linspace(0.1, 1.0, 5)
plt.plot(train_sizes, np.mean(train_scores, axis=1), label='Training Score')
plt.plot(train_sizes, np.mean(val_scores, axis=1), label='Validation Score')
plt.xlabel("Training Samples")
plt.ylabel("Accuracy")
plt.legend()

2. 决策树结构可视化

直接观察树的分裂逻辑，辅助调整 max_depth 和 min_samples_leaf：

from sklearn.tree import plot_tree

plt.figure(figsize=(20, 10))
plot_tree(model, feature_names=feature_names, class_names=class_names, filled=True)
plt.show()

---

四、针对不同问题的调参策略

1. 分类 vs 回归

任务类型	关键参数差异
分类任务	侧重 criterion="gini" 或 "entropy"，关注类别平衡（class_weight）
回归任务	使用 criterion="squared_error"，增大 min_samples_leaf 平滑预测波动

2. 处理类别不平衡

• 样本加权 ：设置 class_weight="balanced" 或自定义权重字典。
• 过采样：使用 SMOTE 生成少数类样本后再训练。
• 阈值调整：预测时调整分类阈值（如从 0.5 改为 0.3）。

3. 高维数据优化

• 特征选择：先用随机森林或 L1 正则化筛选重要特征。
• 限制 max_features ：设置为 "sqrt" 或 0.3*n_features，降低维度影响。

---

五、常见问题与解决方案

问题现象	可能原因	解决方案
训练集准确率高，测试集低	过拟合	增大 min_samples_split，降低 max_depth，启用剪枝（ccp_alpha）
训练集与测试集均表现差	欠拟合	增加 max_depth，减小 min_samples_leaf，检查特征工程是否有效
模型训练速度慢	数据量大或树过深	限制 max_depth，使用 max_features，尝试改用 LightGBM/XGBoost
预测结果不稳定	数据噪声或参数过于敏感	增大 min_samples_leaf，使用集成方法（如随机森林）

---

六、终极调参流程

1. 基线模型：使用默认参数建立初始模型，记录性能。
2. 控制复杂度 ：
   • 先调整 max_depth 和 min_samples_split，快速限制树生长。
   • 再优化 min_samples_leaf 平滑预测结果。
3. 特征优化 ：通过 max_features 引入随机性。
4. 高级剪枝 ：使用 ccp_alpha 进行后剪枝。
5. 自动化调参：用网格/随机搜索微调参数组合。
6. 验证与迭代：在独立测试集验证，根据业务需求调整阈值。

---

总结

决策树的调参本质是平衡模型复杂度与泛化能力。实际应用中需结合业务目标（如医疗诊断需高召回率，金融风控需高精确率），优先优化关键指标。当单棵树性能达到瓶颈时，可转向随机森林或梯度提升树（GBDT）等集成方法。