机器学习 —— 网格搜索

摘要：网格搜索是机器学习中通过穷举超参数组合来优化模型性能的技术。Python中可使用sklearn的GridSearchCV类实现，需定义模型、超参数范围和评分指标。示例展示了随机森林分类器的超参数调优过程，包括n_estimators和max_depth的搜索，最终输出最佳参数组合及对应准确率。该方法通过交叉验证确保结果可靠性，是模型调参的常用手段。

[机器学习 ------ 网格搜索](#机器学习 —— 网格搜索)

[Python 实现](#Python 实现)

示例

输出结果

机器学习 ------ 网格搜索

网格搜索（Grid Search）是机器学习中的一种超参数调优技术，可帮助为特定模型找到最佳的超参数组合。其工作原理是先定义一组超参数网格，然后使用所有可能的超参数组合训练模型，最终筛选出性能最优的组合。

换句话说，网格搜索是一种穷举搜索方法：先确定待优化的超参数集合，再遍历所有可能的超参数组合，最终找到能使模型性能达到最优的参数值。

Python 实现

在 Python 中，可通过sklearn模块的GridSearchCV类实现网格搜索。GridSearchCV类接收三个核心输入：模型本身、待调优的超参数集合以及评分函数。该类会对所有可能的超参数组合执行穷举搜索，最终返回性能最优的超参数组合及其对应的最高得分。

以下是使用GridSearchCV类实现网格搜索的示例代码：

示例

python 复制代码

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

# 生成样本数据集
X, y = make_classification(n_samples=1000, n_features=10, n_classes=2)

# 定义模型及待调优的超参数
model = RandomForestClassifier()
hyperparameters = {'n_estimators': [10, 50, 100], 'max_depth': [None, 5, 10]}

# 定义网格搜索对象并拟合数据
grid_search = GridSearchCV(model, hyperparameters, scoring='accuracy', cv=5)
grid_search.fit(X, y)

# 输出最佳超参数及对应得分
print("最佳超参数：", grid_search.best_params_)
print("最佳得分：", grid_search.best_score_)

在本示例中，我们定义了随机森林分类器（RandomForestClassifier）作为待优化模型，并指定了两个待调优超参数：决策树数量（n_estimators）和每棵树的最大深度（max_depth）。随后创建GridSearchCV对象并通过fit()方法拟合数据，最后输出最优超参数组合及对应的最高得分。

输出结果

运行上述代码后，将得到如下输出：

plaintext

python 复制代码

最佳超参数：{'max_depth': None, 'n_estimators': 10}
最佳得分：0.953