【Python机器学习】自动化特征选择——迭代特征选择

在单变量测试中,没有使用模型;在基于模型的选择中,使用单个模型来选择特征。而在迭代特征选择中,将会构造一系列模型,每个模型都使用不同数量的特征。有两种基本方法:

1、开始时没有特征,然后逐个添加特征,知道满足某个条件终止;

2、从所有特征开始,然后逐个删除特征,知道满足某个条件终止。

由于构造了一系列模型,所以这些方法的计算成本要比单变量统计和基于模型的特征选择要更高。其中一种特殊方法就是递归特征消除,它从所有特征开始构建模型,并根据模型舍弃最不重要的特征,然后使用除被舍弃特征之外的所有特征来构建一个新模型,如此继续,知道仅剩下预设数量的特征。为了让这种方法能够运行,用于选择的模型需要提供某种确定特征重要性的方法,正如基于模型的选择所做的那样。

下面使用一个随机森林模型:

python 复制代码
select = RFE(RandomForestClassifier(n_estimators=100,random_state=42),n_features_to_select=40)
select.fit(X_train,y_train)
mask=select.get_support()

plt.matshow(mask.reshape(1,-1),cmap='gray_r')
plt.xlabel('Sample index')
plt.show()

与单变量选择和基于模型的特征选择相比,迭代特征选择的结果更好,但仍然露掉了一个特征。而且运行代码所需的时间也长得多,因为对一个随机森林模型训练了40次,每运行一次删除一个特征。

下面,测试一下使用RFE做特征选择时Logistic回归模型的精度

python 复制代码
X_train_rfe=select.transform(X_train)
X_test_rfe=select.transform(X_test)
score=LogisticRegression().fit(X_train_rfe,y_train).score(X_test_rfe,y_test)
print(score)

我们还可以利用在RFE内使用的模型来进行预测。这仅使用被选中的特征集:

python 复制代码
print("test score:{}".format(select.score(X_test,y_test)))
相关推荐
集成显卡4 分钟前
AI探索 | 豆包智能助手跟扣子空间(AI办公助手)有什么区别
人工智能·chatgpt·agent·智能助理
一个天蝎座 白勺 程序猿4 分钟前
Python练习(1)Python基础类型操作语法实战:20道实战题解与案例分析(上)
开发语言·python·学习
木叶丸8 分钟前
AI三大核心概念通俗指南:AIGC、Agent、MCP
人工智能·flutter·架构
Albert_Lsk19 分钟前
【2025/07/10】GitHub 今日热门项目
人工智能·开源·github·开源协议
巨人张24 分钟前
信息素养Python编程题
开发语言·python
新加坡内哥谈技术27 分钟前
OpenAI正准备推出一款搭载人工智能功能的网络浏览器,试图直接挑战Alphabet旗下
人工智能
站大爷IP29 分钟前
Python爬虫动态IP代理报错全解析:从问题定位到实战优化
python
努力的小帅30 分钟前
STM32单片机_3
stm32·单片机·嵌入式硬件·学习·stm32c8t6
hie9889436 分钟前
CentOS环境搭建-快速升级G++版本
linux·python·centos
盛寒39 分钟前
向量空间 线性代数
python·线性代数·机器学习