24/9/24 算法笔记超参数优化算法

在机器学习中，优化超参数的算法是至关重要的，因为它们可以帮助我们找到最佳的模型配置，从而提高模型的性能。以下是一些常用的超参数优化算法：

网格搜索（Grid Search）：这是一种穷举搜索的方法，它会系统地遍历多种超参数的组合，通过交叉验证来确定每种组合的性能，并选择最佳的参数组合。这种方法的缺点是计算成本很高，特别是当参数数量和数据集大小增加时。
随机搜索（Random Search）：与网格搜索不同，随机搜索不会尝试所有的参数组合，而是在参数空间中随机选择参数组合。这种方法通常比网格搜索快，并且在大型数据集中表现更好，因为它不需要遍历所有可能的参数组合。
贝叶斯优化（Bayesian Optimization）：贝叶斯优化是一种更智能的搜索方法，它使用概率模型来预测哪些参数可能会带来更好的性能，并据此来选择新的参数组合进行尝试。这种方法特别适合于优化成本高昂的模型，因为它可以在较少的迭代次数内找到较优的参数组合。
遗传算法（Genetic Algorithms）：遗传算法是一种启发式搜索算法，它模仿自然选择的过程。它通过选择、交叉、变异和遗传等操作来迭代地改进参数组合。
Hyperband：这是一种基于多臂老虎机的算法，它在不同的预算下频繁执行连续减半的方法，以找到最佳配置。Hyperband算法在资源有限的情况下，能够快速有效地找到较好的超参数组合。
BOHB（Bayesian Optimization and Hyperband）：BOHB结合了贝叶斯优化和Hyperband算法的优势，它是一种多保真优化方法，可以根据预算进行调整。BOHB在保持高效的同时，也能够在更广泛的应用中找到更好的超参数组合。
Successive Halving：这是一种逐步减少候选集大小的方法，它在每一轮中都会淘汰掉一半表现最差的超参数组合，直到找到最佳组合。
TPE（Tree-structured Parzen Estimator）：这是一种基于概率模型的优化算法，它通过构建一个概率模型来预测参数的好坏，并据此来选择新的参数进行尝试。

网格搜索（Grid Search）

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 定义模型
model = RandomForestClassifier()

# 定义参数网格
param_grid = {
    'n_estimators': [100, 200, 300],
    'max_depth': [10, 20, 30, None],
    'min_samples_split': [2, 5, 10]
}

# 创建网格搜索对象
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy')

# 执行网格搜索
grid_search.fit(X, y)

# 输出最佳参数
print(grid_search.best_params_)

param_grid 是一个字典，它定义了你想要在网格搜索中探索的参数及其可能的值。GridSearchCV 会遍历这个网格中的所有参数组合，通过交叉验证来评估每一组参数的表现，并最终选择最佳的参数组合。

具体来说，param_grid 中的每个键值对代表一个超参数和它的候选值列表。在这个例子中，有三个超参数：

n_estimators：决策树的数量。这里提供了三个候选值 [100, 200, 300]。

max_depth：树的最大深度。这里提供了四个候选值 [10, 20, 30, None]，None 表示树的深度没有限制。

min_samples_split：分裂内部节点所需的最小样本数。这里提供了三个候选值 [2, 5, 10]。

GridSearchCV 会创建一个参数的所有可能组合的网格，并针对每一组参数训练模型，然后评估模型的性能。例如，如果 n_estimators 有三个候选值，max_depth 有四个候选值，min_samples_split 有三个候选值，那么总共会有 3 * 4 * 3 = 36 种不同的参数组合。

随机搜索（Random Search）

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from scipy.stats import randint as sp_randint

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 定义模型
model = RandomForestClassifier()

# 定义参数分布
param_dist = {
    'n_estimators': sp_randint(100, 301),
    'max_depth': [10, 20, 30, None],
    'min_samples_split': sp_randint(2, 11)
}

# 创建随机搜索对象
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_dist, n_iter=100, cv=5, scoring='accuracy', random_state=42)

# 执行随机搜索
random_search.fit(X, y)

# 输出最佳参数
print(random_search.best_params_)

贝叶斯优化（Bayesian Optimization）

from skopt import BayesSearchCV
from skopt.space import Real, Integer, Categorical
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 定义模型
model = RandomForestClassifier()

# 定义参数空间
search_spaces = {
    'n_estimators': Integer(100, 300),
    'max_depth': Integer(10, 30),
    'min_samples_split': Integer(2, 10)
}

# 创建贝叶斯优化对象
bayes_search = BayesSearchCV(estimator=model, search_spaces=search_spaces, n_iter=32, cv=5, scoring='accuracy', n_jobs=-1, random_state=42)

# 执行贝叶斯优化
bayes_search.fit(X, y)

# 输出最佳参数
print(bayes_search.best_params_)

Hyperband

from hpbandster.optimizers.bayes import BOHB
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X, y = load_iris(return_X_y=True)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 定义目标函数
def objective(params):
    model = RandomForestClassifier(**params)
    model.fit(X_train, y_train)
    accuracy = model.score(X_test, y_test)
    return {'loss': -accuracy, 'status': 'ok'}

# 定义参数空间
params_space = {
    'n_estimators': (100, 300),
    'max_depth': (10, 30),
    'min_samples_split': (2, 10)
}

# 创建Hyperband优化器对象
optimizer = BOHB(objective, params_space, num_iterations=81, random_state=42, min_budget=1, max_budget=27)

# 执行Hyperband优化
optimizer.run()

# 输出最佳参数
print(optimizer.result['best_config'])

每种算法都有其适用场景，选择哪种算法通常取决于具体问题、数据集的大小、模型的复杂度以及计算资源的可用性。

24/9/24 算法笔记 超参数优化算法

网格搜索（Grid Search）

随机搜索（Random Search）

贝叶斯优化（Bayesian Optimization）

Hyperband

24/9/24 算法笔记超参数优化算法