特征选择方法

一、特征选择核心价值

特征选择作为机器学习中非常重要的一环，一直极大程度的决定这模型的效果，下面就让我们一起进入特征选择的世界，为了方便大家总结归纳，在开头家里一个思维导图，大家可以根据内容对照查看。

为什么要做特征选择？

在机器学习领域，原始数据往往包含大量冗余、噪声或无关特征，直接使用全量特征会导致计算成本增加、模型过拟合以及解释性下降。特征选择的核心目标是从高维数据中筛选出最具预测能力的特征子集，从而提升模型性能、降低复杂度并增强可解释性。

总结下来就是以下几个方面：

1. 维度诅咒：当特征数超过样本量时模型性能急剧下降
2. 计算效率：减少30%特征可提升50%训练速度
3. 模型可解释：保留关键特征让决策过程透明化
4. 防止过拟合：去除噪声特征提升泛化能力

二、四大主流方法全景图

这上面思维导图的基础上加入了数据降维方法：
特征选择 过滤法 Filter 包装法 Wrapper 嵌入法 Embedded 降维法 Dimensionality Reduction 单变量统计 方差阈值 相关系数 前向搜索 递归消除 遗传算法 L1正则化 树模型重要性 PCA t-SNE

三、方法详解与实战代码

1. 过滤法（Filter Methods）

原理：基于统计指标独立评估每个特征与目标变量的相关性，按得分排序筛选。

典型方法：

• 方差阈值：删除方差低于阈值的特征（如95%以上样本取值相同的特征）。
• 卡方检验：适用于分类问题，衡量特征与目标的独立性。
• 互信息法：捕捉非线性关系，衡量特征与目标的依赖程度。
• 相关系数：线性相关性分析（Pearson适用于连续变量，Spearman适用于秩相关）。

1.1 方差阈值法

去除方差低于阈值的特征（例如常数特征），公式为：
V a r ( X ) = 1 n ∑ i = 1 n ( x i − μ ) 2 Var(X) = \frac{1}{n}\sum_{i=1}^{n}(x_i - \mu)^2 Var(X)=n1i=1∑n(xi−μ)2

低方差通常意味着特征区分能力弱。

下面是示例代码：

from sklearn.feature_selection import VarianceThreshold
from sklearn.datasets import load_breast_cancer

data = load_breast_cancer()
X = data.data

# 移除方差小于0.5的特征
selector = VarianceThreshold(threshold=0.5)
X_new = selector.fit_transform(X)

print(f"原始特征数: {X.shape[1]}")
print(f"筛选后特征数: {X_new.shape[1]}")

1.2 统计检验

• 卡方检验（ χ 2 \chi^2 χ2）：适用于分类问题，评估特征与目标的独立性。
• 互信息（Mutual Information）：衡量特征与目标的信息相关性。
• Pearson相关系数：用于线性关系分析。

示例代码：

from sklearn.feature_selection import SelectKBest, chi2
selector = SelectKBest(chi2, k=10)
X_new = selector.fit_transform(X, y)

1.3 单变量选择

from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

# 选择前10个最重要的特征
selector = SelectKBest(score_func=f_classif, k=10)
X_new = selector.fit_transform(X, y)

# 验证效果
model = RandomForestClassifier()
original_score = cross_val_score(model, X, y, cv=5).mean()
new_score = cross_val_score(model, X_new, y, cv=5).mean()

print(f"原始准确率: {original_score:.4f}")
print(f"特征选择后准确率: {new_score:.4f}")

2. 包装法（Wrapper Methods）

原理：以模型性能为导向，通过迭代搜索特征子集。

典型方法：

• 递归特征消除（RFE）：基于模型系数或特征重要性，逐步剔除不重要特征。
• 遗传算法：通过模拟自然选择优化特征子集。

2.1 递归特征消除

from sklearn.feature_selection import RFECV
from sklearn.svm import SVC

estimator = SVC(kernel="linear")
selector = RFECV(estimator, step=1, cv=5)
selector = selector.fit(X, y)

print("最优特征数:", selector.n_features_)
print("特征排名:", selector.ranking_)

2.2 特征重要性排序

import matplotlib.pyplot as plt
from sklearn.ensemble import ExtraTreesClassifier

model = ExtraTreesClassifier(n_estimators=100)
model.fit(X, y)

plt.figure(figsize=(10,6))
plt.barh(range(X.shape[1]), model.feature_importances_, align='center')
plt.yticks(range(X.shape[1]), data.feature_names)
plt.xlabel('Feature Importance')
plt.ylabel('Feature Name')
plt.show()

3. 嵌入法（Embedded Methods）

原理：在模型训练过程中自动完成特征选择。

1. L1正则化（Lasso）

   通过惩罚项 L 1 L_1 L1将部分特征权重压缩至0，实现稀疏性。

   公式：
   min ⁡ w ( ∥ y − X w ∥ 2 + α ∥ w ∥ 1 ) \min_{w} \left( \|y - Xw\|^2 + \alpha \|w\|_1 \right) wmin(∥y−Xw∥2+α∥w∥1)

2. 树模型

   决策树、随机森林通过特征重要性（如基尼指数）评估贡献度。

3.1 L1正则化选择

from sklearn.linear_model import LassoCV

lasso = LassoCV(cv=5).fit(X, y)
mask = lasso.coef_ != 0
X_selected = X[:, mask]

print(f"Lasso选择特征数: {sum(mask)}")

3.2 树模型重要性

from xgboost import XGBClassifier
from sklearn.inspection import permutation_importance

model = XGBClassifier()
model.fit(X, y)

result = permutation_importance(model, X, y, n_repeats=10)
sorted_idx = result.importances_mean.argsort()

plt.boxplot(result.importances[sorted_idx].T,
            vert=False, labels=data.feature_names[sorted_idx])
plt.title("Permutation Importance")
plt.show()

4. 降维法（Dimensionality Reduction）

4.1 主成分分析

from sklearn.decomposition import PCA
import plotly.express as px

pca = PCA(n_components=3)
components = pca.fit_transform(X)

fig = px.scatter_3d(components, x=0, y=1, z=2, color=y)
fig.update_layout(title='3D PCA Visualization')
fig.show()

四、方法对比与选型指南

方法类型	计算成本	模型依赖	特征保留	典型场景
过滤法	低	无	原始特征	初步筛选
包装法	极高	强	原始特征	精细调优
嵌入法	中	中等	原始特征	建模融合
降维法	中高	无	新特征	可视化处理

特征选择建议指南：

1. 数据预处理阶段先用方差阈值+单变量过滤
2. 建模时优先使用嵌入法自动选择
3. 最终模型调优使用递归消除法
4. 可视化解释使用树模型重要性+降维法

五、容易错误的点

5.1 特征选择中的过拟合

# 错误示范：在完整数据集上选择特征
X_selected = SelectKBest(k=20).fit_transform(X, y)  # 泄露数据分布
model.fit(X_selected, y)  # 评估结果将过于乐观

# 正确做法：在训练集内部分配
from sklearn.pipeline import make_pipeline

pipe = make_pipeline(
    SelectKBest(k=20),
    RandomForestClassifier()
)
cross_val_score(pipe, X, y, cv=5)  # 确保特征选择在交叉验证内部进行

5.2 类别特征处理

from sklearn.preprocessing import KBinsDiscretizer
from sklearn.compose import ColumnTransformer

# 连续特征离散化
discretizer = KBinsDiscretizer(n_bins=5, encode='ordinal')

# 分类特征独热编码
preprocessor = ColumnTransformer(
    transformers=[
        ('num', discretizer, continuous_features),
        ('cat', OneHotEncoder(), categorical_features)
    ])

5.3 特征交互挖掘

from sklearn.preprocessing import PolynomialFeatures
from sklearn.feature_selection import mutual_info_classif

# 生成二阶交互特征
poly = PolynomialFeatures(degree=2, interaction_only=True)
X_poly = poly.fit_transform(X)

# 选择重要交互项
selector = SelectKBest(mutual_info_classif, k=50)
X_selected = selector.fit_transform(X_poly, y)

六、写在结尾

特征选择是机器学习流程中的战略要地，优秀工程师的三大核心能力：

1. 根据数据特性快速选择合适方法
2. 在计算成本与模型效果间找到平衡点
3. 通过特征工程创造新价值

未来发展方向：

• 自动化特征选择（AutoML）
• 深度学习与特征选择的融合
• 可解释性驱动的特征评估

# 终极工具推荐
!pip install featuretools
import featuretools as ft

# 自动化特征工程
es = ft.EntitySet()
es.add_dataframe(dataframe=df, index='id')
features, feature_defs = ft.dfs(entityset=es, target_dataframe_name='target')

---

特征选择是机器学习中不可或缺的环节，需根据数据特性、模型需求和计算资源综合选择方法。通过合理的特征工程，不仅能提升模型性能，还能为业务决策提供更清晰的洞见。建议各位佬结合具体案例，尝试多种方法组合，逐步积累实践经验。

延伸阅读：

• scikit-learn官方文档：特征选择指南
• 可视化工具：SHAP值、LIME可辅助分析特征重要性。