【机器学习】特征降维|低方差过滤|主成分分析PCA|相关系数法|皮尔逊相关系数|斯皮尔曼相关系数

特征降维

特征降维

  • 为什么要进行特征降维?
    • 特征对训练模型非常重要,当用于训练的数据集包涵一些不重要的特征时,可能会导致模型泛化性能不加
      • eg:某些特征的取值较为接近,其包含的信息较少
      • eg:希望特征独立存在对预测产生影响,两个特征同增同减非常相关,不会给模型带来更多的信息
  • 特征降维目的
    • 在某些特定的情况下,降低特征个数
    • 特征降维涉及的知识面比较多,当前阶段常用的方法:
      • 低方差过滤法
      • PAC 主成分分析降维法
      • 相关系数法(皮尔逊相关系数 斯皮尔曼相关系数)

低方差过滤

  • 低方差过滤法: 指的是删除方差低于某一阈值的特征
    • 特征方差小: 特征值的波动范围小 包含的信息少 模型不易学到信息
    • 特征方差大: 特征值的波动范围大 包含的信息多 便于模型学习
  • 低方差过滤API
python 复制代码
# 实例化对象用于删除所有低方差特征
sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
variance_obj.fit_transform(X)
	# X.shape : [n_samples,n_features]
# 返回值:训练集差异低于threshold的特征将被删除。
	#默认值是保留所有非零方差特征,即删除所有样本中具有相同值的特征
  • 代码实现
python 复制代码
# 1.导入依赖包
from sklearn.feature_selection import VarianceThreshold
import pandas as pd

# 2. 读取数据集
data = pd.read_csv('data/垃圾邮件分类数据.csv')
print(data.shape) # (971, 25734)


# 3. 使用方差过滤法
transformer = VarianceThreshold(threshold=0.1)
data = transformer.fit_transform(data)
print(data.shape) # (971, 1044)
  • 运行结果

主成分分析PCA

  • 主成分分析(Principal Component Analysis,PCA)
    • PCA 通过对数据维度进行压缩,尽可能降低原数据的维度,损失少了信息,在此过程中可能会舍弃原有数据、创造新的变量
  • API
    • sklearn.decomposition.PCA(n_components=None)
      • 将数据分解为较低维数空间
      • n_components: 小数表示保留百分之多少的信息;整数表示减少到多少特征 eg:由20个特征减少到10个
    • mypcaobj.fit_transform(X)
      • 返回值:转换后指定维度的array
  • 代码实现
python 复制代码
# 1.导入依赖包
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# 2. 加载数据集
x, y = load_iris(return_X_y=True)
print(x[:5])


# 3. PCA,保留指定比例的信息
transformer = PCA(n_components=0.95)
x_pca = transformer.fit_transform(x)
print(x_pca[:5])


# 4. PCA,保留指定数量特征
transformer = PCA(n_components=2)
x_pca = transformer.fit_transform(x)
print(x_pca[:5])
  • 运行结果

相关系数法

  • 为什么会使用相关系数?
    • 相关系数:反应特征列之间的密切相关程度的统计指标
    • 常见2个相关系数:皮尔逊相关系数、斯皮尔曼相关系数
    • 相关系数的值介于--1与+1之间,即--1 ≤ r ≤ +1。其性质如下:
      • 当 r > 0 时,表示两变量正相关,r < 0 时,两变量为负相关
      • 当 |r| = 1 时,表示两变量为完全相关,当r = 0时,表示两变量间无相关关系
      • 当 0 < |r| < 1时,表示两变量存在一定程度的相关。
      • 且|r|越接近1,两变量间线性关系越密切;|r|越接近于0,表示两变量的线性相关越弱
    • 一般可按三级划分:
      • (1) |r| <0.4为低度相关;
      • (2) 0.4≤ |r| <0.7为显著性相关;
      • (3) 0.7 ≤ |r| <1为高度线性相关。
皮尔逊相关系数
  • 举例: 已知广告投入x特征与月均销售额y之间的关系,经过皮尔逊相关系数计算,为高度相关
斯皮尔曼相关系数
  • 举例
  • 代码实现
python 复制代码
# 1.导入依赖包
import pandas as pd
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from scipy.stats import spearmanr
from sklearn.datasets import load_iris

# 2.读取数据集(鸢尾花数据集)
data = load_iris()
data = pd.DataFrame(data.data, columns=data.feature_names)

# 3. 皮尔逊相关系数
corr = pearsonr(data['sepal length (cm)'], data['sepal width (cm)'])
print(corr, '皮尔逊相关系数:', corr[0], '不相关性概率:', corr[1])
# (-0.11756978413300204, 0.15189826071144918) 皮尔逊相关系数: -0.11756978413300204 不相关性概率: 0.15189826071144918

# 4. 斯皮尔曼相关系数
corr = spearmanr(data['sepal length (cm)'], data['sepal width (cm)'])
print(corr, '斯皮尔曼相关系数:', corr[0], '不相关性概率:', corr[1])
# SpearmanrResult(correlation=-0.166777658283235, pvalue=0.04136799424884587) 斯皮尔曼相关系数: -0.166777658283235 不相关性概率: 0.04136799424884587
相关推荐
可触的未来,发芽的智生2 分钟前
追根索源-神经网络的灾难性遗忘原因
人工智能·神经网络·算法·机器学习·架构
CAE3202 分钟前
基于Ncode的新能源汽车电池包随机振动疲劳分析
人工智能·汽车·电池包·hypermesh·振动疲劳·optistruct
zzywxc7872 分钟前
自动化测试框架是软件测试的核心基础设施,通过预设规则和脚本自动执行测试用例,显著提高测试效率和覆盖率。
运维·人工智能·自动化·prompt·测试用例·流程图
尺度商业8 分钟前
2025服贸会“海淀之夜”,点亮“科技”与“服务”底色
大数据·人工智能·科技
AWS官方合作商9 分钟前
涂鸦智能携手亚马逊云科技,以全球基础设施与生成式AI加速万物智联时代到来
人工智能·科技·aws·亚马逊云科技
FunTester11 分钟前
拥抱直觉与创造力:走进VibeCoding的新世界
人工智能·语言模型·编程·vibecoding
liukuang11013 分钟前
飞鹤财报“新解”:科技筑牢护城河,寒冬凸显龙头“硬核力”
人工智能·科技
eqwaak015 分钟前
科技信息差(9.13)
大数据·开发语言·人工智能·华为·语言模型
技术程序猿华锋27 分钟前
深度解码OpenAI的2025野心:Codex重生与GPT-5 APIKey获取调用示例
人工智能·vscode·python·gpt·深度学习·编辑器
嘀咕博客34 分钟前
Stable Virtual Camera:Stability AI等推出的AI模型 ,2D图像轻松转3D视频
人工智能·3d·音视频·ai工具