特征 降维

1、概述

用于训练的数据集特征对模型的性能有着极其重要的作用,如果训练数据中包含一些不重要的特征,可能导致模型的泛化性能不佳。

降维--是指在某些限定条件下,降低特征个数。

2、方法

低方差过滤法

  • 如果一个特征的方差很小,说明这个特征包含的信息很少,模型很难通过该特征区分对象

相关系数法

  • 通过计算特征的相关系数,发现具有相关性的特征,根据相关性的强弱,进行特征的选择。
  • 皮尔逊相关系数
  • 斯皮尔曼相关系数

PCA(主成分分析法)降维法

  • 在保留大部分信息的前提下,将数据的维度压缩为低维,在降维过程中能够去除特征之间的相关性

2、低方差过滤法

  • 特征方差大:某个特征很多样本的值都有差别
  • 特征方差小:某个特征大多数样本的值都比较接近

低方差过滤------删除方差低于某些阈值的一些特征

python 复制代码
sklearn.feature_selection.VarianceThreshold(threshold=0.0)
Variance.fit_transform(X)
# X是numpy array 格式的数据【n_samples,n_features)

在数据集中,删除方差低于threshold的特征,默认值是保留所有非零方差特征,即删除所有样本中具有相同值的特征。

3、相关系数法

两两变量之间计算相关性,越接近于1,越相关。

皮尔逊相关系数的计算公式:

  • from scipy.stats import pearsonr

斯皮尔曼相关系数:

  • from scipy.stats import spearmanr

上面公式中,di为样本中不同特征在数据中排序的序号差值(相同时就取排序的均值),计算举例如下所示:

python 复制代码
import pandas as pd
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from scipy.stats import spearmanr
from sklearn.datasets import load_iris
import pandas as pd

pd.set_option('display.max_columns',None)
pd.set_option('display.max_rows',None)
pd.set_option('display.width',1000)

if __name__=='__main__':
    # 读取数据集
    data = load_iris()
    data = pd.DataFrame(data.data, columns=data.feature_names)
    
    #皮尔逊相关系数
    p_corr = pearsonr(data['sepal length (cm)'],data['sepal width (cm)'])
    print(p_corr,'皮尔逊相关系数:',p_corr[0],'不相关概率:',p_corr[1])

    #斯皮尔曼相关系数
    s_corr = spearmanr(data['sepal length (cm)'],data['sepal width (cm)'])
    print(s_corr,'皮尔逊相关系数:',s_corr[0],'不相关概率:',s_corr[1])

    #使用DataFrame的corr方法计算相关性
    print(data.corr('pearson'))
    print(data.corr('spearman'))

4、主成分分析PCA

通过对数据维数进行压缩,尽可能降低原数据的维数(复杂度),损失少量信息,在此过程中可能会舍弃原有数据、创造新的变量。

python 复制代码
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

if __name__ == '__main__':
    #加载数据集
    x,y = load_iris(return_X_y=True)
    print(x[:5])

    # 指定保留信息的比例
    transformer = PCA(n_components=0.95)
    x_pca = transformer.fit_transform(x)    
    print(x_pca[:5])

    # 另一种方法,保留指定数量的特征
    transformer = PCA(n_components=3)
    x_pca = transformer.fit_transform(x)
    print(x_pca[:5])
相关推荐
千宇宙航2 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董2 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco3 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟3 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin6 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟6 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦6 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988947 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03277 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿7 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习