【机器学习】特征降维|低方差过滤|主成分分析PCA|相关系数法|皮尔逊相关系数|斯皮尔曼相关系数

特征降维

特征降维

  • 为什么要进行特征降维?
    • 特征对训练模型非常重要,当用于训练的数据集包涵一些不重要的特征时,可能会导致模型泛化性能不加
      • eg:某些特征的取值较为接近,其包含的信息较少
      • eg:希望特征独立存在对预测产生影响,两个特征同增同减非常相关,不会给模型带来更多的信息
  • 特征降维目的
    • 在某些特定的情况下,降低特征个数
    • 特征降维涉及的知识面比较多,当前阶段常用的方法:
      • 低方差过滤法
      • PAC 主成分分析降维法
      • 相关系数法(皮尔逊相关系数 斯皮尔曼相关系数)

低方差过滤

  • 低方差过滤法: 指的是删除方差低于某一阈值的特征
    • 特征方差小: 特征值的波动范围小 包含的信息少 模型不易学到信息
    • 特征方差大: 特征值的波动范围大 包含的信息多 便于模型学习
  • 低方差过滤API
python 复制代码
# 实例化对象用于删除所有低方差特征
sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
variance_obj.fit_transform(X)
	# X.shape : [n_samples,n_features]
# 返回值:训练集差异低于threshold的特征将被删除。
	#默认值是保留所有非零方差特征,即删除所有样本中具有相同值的特征
  • 代码实现
python 复制代码
# 1.导入依赖包
from sklearn.feature_selection import VarianceThreshold
import pandas as pd

# 2. 读取数据集
data = pd.read_csv('data/垃圾邮件分类数据.csv')
print(data.shape) # (971, 25734)


# 3. 使用方差过滤法
transformer = VarianceThreshold(threshold=0.1)
data = transformer.fit_transform(data)
print(data.shape) # (971, 1044)
  • 运行结果

主成分分析PCA

  • 主成分分析(Principal Component Analysis,PCA)
    • PCA 通过对数据维度进行压缩,尽可能降低原数据的维度,损失少了信息,在此过程中可能会舍弃原有数据、创造新的变量
  • API
    • sklearn.decomposition.PCA(n_components=None)
      • 将数据分解为较低维数空间
      • n_components: 小数表示保留百分之多少的信息;整数表示减少到多少特征 eg:由20个特征减少到10个
    • mypcaobj.fit_transform(X)
      • 返回值:转换后指定维度的array
  • 代码实现
python 复制代码
# 1.导入依赖包
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris

# 2. 加载数据集
x, y = load_iris(return_X_y=True)
print(x[:5])


# 3. PCA,保留指定比例的信息
transformer = PCA(n_components=0.95)
x_pca = transformer.fit_transform(x)
print(x_pca[:5])


# 4. PCA,保留指定数量特征
transformer = PCA(n_components=2)
x_pca = transformer.fit_transform(x)
print(x_pca[:5])
  • 运行结果

相关系数法

  • 为什么会使用相关系数?
    • 相关系数:反应特征列之间的密切相关程度的统计指标
    • 常见2个相关系数:皮尔逊相关系数、斯皮尔曼相关系数
    • 相关系数的值介于--1与+1之间,即--1 ≤ r ≤ +1。其性质如下:
      • 当 r > 0 时,表示两变量正相关,r < 0 时,两变量为负相关
      • 当 |r| = 1 时,表示两变量为完全相关,当r = 0时,表示两变量间无相关关系
      • 当 0 < |r| < 1时,表示两变量存在一定程度的相关。
      • 且|r|越接近1,两变量间线性关系越密切;|r|越接近于0,表示两变量的线性相关越弱
    • 一般可按三级划分:
      • (1) |r| <0.4为低度相关;
      • (2) 0.4≤ |r| <0.7为显著性相关;
      • (3) 0.7 ≤ |r| <1为高度线性相关。
皮尔逊相关系数
  • 举例: 已知广告投入x特征与月均销售额y之间的关系,经过皮尔逊相关系数计算,为高度相关
斯皮尔曼相关系数
  • 举例
  • 代码实现
python 复制代码
# 1.导入依赖包
import pandas as pd
from sklearn.feature_selection import VarianceThreshold
from scipy.stats import pearsonr
from scipy.stats import spearmanr
from sklearn.datasets import load_iris

# 2.读取数据集(鸢尾花数据集)
data = load_iris()
data = pd.DataFrame(data.data, columns=data.feature_names)

# 3. 皮尔逊相关系数
corr = pearsonr(data['sepal length (cm)'], data['sepal width (cm)'])
print(corr, '皮尔逊相关系数:', corr[0], '不相关性概率:', corr[1])
# (-0.11756978413300204, 0.15189826071144918) 皮尔逊相关系数: -0.11756978413300204 不相关性概率: 0.15189826071144918

# 4. 斯皮尔曼相关系数
corr = spearmanr(data['sepal length (cm)'], data['sepal width (cm)'])
print(corr, '斯皮尔曼相关系数:', corr[0], '不相关性概率:', corr[1])
# SpearmanrResult(correlation=-0.166777658283235, pvalue=0.04136799424884587) 斯皮尔曼相关系数: -0.166777658283235 不相关性概率: 0.04136799424884587
相关推荐
强哥之神15 分钟前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
Green1Leaves17 分钟前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
kyle~44 分钟前
计算机视觉---RealSense深度相机技术
人工智能·数码相机·计算机视觉·机器人·嵌入式·ros·传感器
碣石潇湘无限路1 小时前
【AI篇】当Transformer模型开始学习《孙子兵法》
人工智能·学习
看到我,请让我去学习2 小时前
OpenCV开发-初始概念
人工智能·opencv·计算机视觉
汀沿河2 小时前
8.1 prefix Tunning与Prompt Tunning模型微调方法
linux·运维·服务器·人工智能
陈敬雷-充电了么-CEO兼CTO2 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
学术 学术 Fun2 小时前
✨ OpenAudio S1:影视级文本转语音与语音克隆Mac整合包
人工智能·语音识别
风铃喵游2 小时前
让大模型调用MCP服务变得超级简单
前端·人工智能
booooooty3 小时前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba