原理
随机森林(Random Forest, RF)是Bagging的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上，在决策树的训练过程中引入随机属性选择。训练每颗决策树时随机选出部分特征作为输入，所以该算法被称为随机森林算法。
在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集（假定有d个属性），然后再从这个子集中选择一个最优属性用于划分。参数k控制了随机性的引入程度，一般情况下推荐 k = log 2 d \mathrm{k}=\log_{2}\mathrm{d} k=log2d。随机森林的具体形式如下图：
假设训练集 T 的大小为 N ，特征数目为 M ，随机森林的大小为 K ，随机森林算法的具体步骤如下：
1.遍历随机森林的大小 K 次：
(1).从训练集 T 中有放回抽样的方式，取样N 次形成一个新子训练集 D
(2).随机选择 m 个特征，其中 m < M
(3).使用新的训练集 D 和 m 个特征，学习出一个完整的决策树
2.得到随机森林
实现
python
from sklearn.model_selection import KFold
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
import numpy as np
# 加载数据
iris = load_iris()
X = iris.data
y = iris.target
# 创建5折交叉验证器
kf = KFold(n_splits=5, random_state=42, shuffle=True)
# 创建随机森林分类器
clf = RandomForestClassifier(n_estimators=100, random_state=42)
# 存储每折的准确率
accuracies = []
# 进行5折交叉验证
for train_index, test_index in kf.split(X):
X_train, X_test = X[train_index], X[test_index]
y_train, y_test = y[train_index], y[test_index]
# 训练模型
clf.fit(X_train, y_train)
# 预测测试集
y_pred = clf.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
accuracies.append(accuracy)
# 计算平均准确率
average_accuracy = np.mean(accuracies)
print(f'Average accuracy: {average_accuracy}')这段代码首先加载了鸢尾花数据集，并创建了一个5折交叉验证器和一个随机森林分类器。然后，对每一折的数据进行训练和测试，并计算了每一折的准确率。最后，计算了平均准确率。