集成学习之-stacking

一、引言

对于单模型来说,模型的抗干扰能力低,且难以拟合复杂的数据。
所以可以集成多个模型的优缺点,提高泛化能力。
集成学习一般有三种:boosting是利用多个弱学习器串行,逐个纠错,构造强学习器。
bagging是构造多个独立的模型,然后增强泛化能力。
而stacking结合了以上两种方式,将xy先进行n-fold,然后分给n个基学习器学习,再将n个输出的预测值进行堆叠,形成新的样本数据作为x。新的x和旧的y交给第二层模型进行拟合。

二、代码

import numpy as np
from sklearn.model_selection import KFold
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
class MyStacking:

初始化模型参数

def init(self, estimators, final_estimator, cv=5, method='predict'):
self.cv = cv
self.method = method
self.estimators = estimators
self.final_estimator = final_estimator

模型训练

def fit(self, X, y):

获得一级输出

dataset_train = self.stacking(X, y)

模型融合

self.final_estimator.fit(dataset_train, y)

堆叠输出

def stacking(self, X, y):
kf = KFold(n_splits=self.cv, shuffle=True, random_state=2021)

获得一级输出

dataset_train = np.zeros((X.shape[0], len(self.estimators)))
for i, model in enumerate(self.estimators):
for (train, val) in kf.split(X, y):
X_train = X[train]
X_val = X[val]
y_train = y[train]
y_val_pred = model.fit(X_train, y_train).predict(X_val)
dataset_train[val, i] = y_val_pred
self.estimators[i] = model
return dataset_train

模型预测

def predict(self, X):
datasets_test = np.zeros((X.shape[0], len(self.estimators)))
for i, model in enumerate(self.estimators):
datasets_test[:, i] = model.predict(X)
return self.final_estimator.predict(datasets_test)

模型精度

def score(self, X, y):
datasets_test = np.zeros((X.shape[0], len(self.estimators)))
for i, model in enumerate(self.estimators):
datasets_test[:, i] = model.predict(X)
return self.final_estimator.score(datasets_test, y)
if name == 'main':
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, train_size=0.7, random_state=0)
estimators = [
RandomForestClassifier(n_estimators=10),
GradientBoostingClassifier(n_estimators=10)
]
clf = MyStacking(estimators=estimators,
final_estimator=LogisticRegression())
clf.fit(X_train, y_train)
print(clf.score(X_train, y_train))
print(clf.score(X_test, y_test))

相关推荐
moonsims5 分钟前
SKYTRAC-无人机、无人机系统和城市空中交通卫星通信 – BVLOS 和 C2 卫星通信终端和任务服务器
人工智能
云卓SKYDROID8 分钟前
无人机电压模块技术剖析
人工智能·无人机·电压·高科技·云卓科技
Codebee14 分钟前
使用Qoder 改造前端UI/UE升级改造实践:从传统界面到现代化体验的华丽蜕变
前端·人工智能
用户51914958484519 分钟前
Apache服务器自动化运维与安全加固脚本详解
人工智能·aigc
yintele24 分钟前
智能AI汽车电子行业,EMS应用相关问题
人工智能·汽车
却道天凉_好个秋32 分钟前
深度学习(四):数据集划分
人工智能·深度学习·数据集
数字冰雹35 分钟前
“图观”端渲染场景编辑器
人工智能·编辑器
里昆35 分钟前
【AI】Tensorflow在jupyterlab中运行要注意的问题
人工智能·python·tensorflow
荼蘼1 小时前
OpenCV 高阶 图像金字塔 用法解析及案例实现
人工智能·opencv·计算机视觉
没有梦想的咸鱼185-1037-16631 小时前
基于R语言机器学习方法在生态经济学领域中的实践技术应用
开发语言·机器学习·数据分析·r语言