【机器学习】特征提取 特征降维

特征工程

特征工程是将原始数据转化为可以用于机器学习的数字特征,比如字典的特征提取,文档的特征提取等。

字典特征提取

把字典的每个唯一的键作为数据集特征的一个维度,有这个维度的就为1,没有就是0。其他相同的键,该维度的值就是其键值。

这样的操作把字典样本的每一条数据转化为了矩阵,但是矩阵中含有大量的0(因为数据中的键和值有很多不同),所以称之为稀疏矩阵

为了保存数据的高效,一般使用三元组表存储。保存非零数据的索引和值。

DictVectorizer 接收参数是字典列表

返回值默认是三元组的稀疏矩阵表示

sparse=False表示返回的是数组

sparse=True表示返回的是三元组 (默认值)

三元组可以通过toarray()转化为稀疏矩阵

python 复制代码
from sklearn.feature_extraction import DictVectorizer
dit = [
    {'name':'Tom','h':180,'age':40,'p':'a'},
    {'name':'Jerry','h':30,'age':30,'p':'b'},
    {'name':'Speicher','h':220,'age':50,'p':'c'}
]

transf = DictVectorizer(sparse=True) # sparse稀疏 坐标(索引) 值的形式提取,更节省内存   默认是稀疏矩阵  可以设置为数组  
arr = transf.fit_transform(dit)
print(arr)
print(arr.toarray()) # 转换为矩阵
'''
  (0, 0)	40.0
  (0, 1)	180.0
  (0, 4)	1.0
  (0, 5)	1.0
  (1, 0)	30.0
  (1, 1)	30.0
  (1, 2)	1.0
  (1, 6)	1.0
  (2, 0)	50.0
  (2, 1)	220.0
  (2, 3)	1.0
  (2, 7)	1.0
[[ 40. 180.   0.   0.   1.   1.   0.   0.]
 [ 30.  30.   1.   0.   0.   0.   1.   0.]
 [ 50. 220.   0.   1.   0.   0.   0.   1.]]
'''

文本特征提取

把文本中的词作为一个文本的特征,词在文本中的数量就是对应特征的值

CountVectorizer

stop_words 表示词的黑名单,不提取这些词 是一个列表

print(transf.get_feature_names_out()) 获得特征名,也就是词

  • 英文文本特征提取
python 复制代码
from sklearn.feature_extraction.text import CountVectorizer
text_ls_E = ['cat and rat','cat is Tom','rat is Jerry']
transf = CountVectorizer(stop_words=['is','and'])  # 词黑名单  不提取的词  需要对句子进行分词
arr = transf.fit_transform(text_ls_E)
print(arr)
print(arr.toarray())
print(transf.get_feature_names_out())  # 
'''
 (0, 0)	1
  (0, 2)	1
  (1, 0)	1
  (1, 3)	1
  (2, 2)	1
  (2, 1)	1
[[1 0 1 0]
 [1 0 0 1]
 [0 1 1 0]]
['cat' 'jerry' 'rat' 'tom']
'''
  • 中文文本特征提取

和英文不同之处在于,需要进行分词,因为中文并不是一个字就代表一个含义

python 复制代码
import jieba
text_ls_c = ['猫和老鼠','猫是汤姆','老鼠是杰瑞']  # 中文需要进行分词
transf_C = sklearn.feature_extraction.text.CountVectorizer(stop_words=['是'])

text_cut = []
for seq in text_ls_c:
    seq = jieba.lcut(seq)
    seq = ' '.join(seq)
    text_cut.append(seq)
# print(text_cut)
data = transf_C.fit_transform(text_cut)
print('中文',data)
print(data.toarray())
print(transf_C.get_feature_names_out())

'''
中文   (0, 2)	1
  (1, 1)	1
  (2, 3)	1
  (2, 0)	1
[[0 0 1 0]
 [0 1 0 0]
 [1 0 0 1]]
['杰瑞' '汤姆' '猫和老鼠' '老鼠']
'''

TF-IDF 文本特征词重要程度特征提取

TF 词频 文本中词出现次数/文本中词的数量 词在文档中的重要程度

IDF 逆文档频率 ln(文档的数量/文档中出该词的文档数) 词在整个文档集合中的重要程度

TF-IDF 词频和逆文档频率的积

python 复制代码
# TF-IDF  文本特征词重要程度特征提取
from sklearn.feature_extraction.text import TfidfVectorizer,CountVectorizer
texts = [
    'this is a cat',
    'this is a dog',
    'this is a rat',
]
data=['世界 你好 我 是 华清 远见 的 张 三', '你好 世界 我 是 李四 世界', '华清 远见 666']

# counter = CountVectorizer(stop_words=['is'])
# data_counter = counter.fit_transform(texts)
tfidfer = TfidfVectorizer()
data_tfidf = tfidfer.fit_transform(texts)
print(data_tfidf)
print(data_tfidf.toarray())
print(tfidfer.get_feature_names_out())
'''
  (0, 0)	0.7674945674619879
  (0, 2)	0.4532946552278861
  (0, 4)	0.4532946552278861
  (1, 1)	0.7674945674619879
  (1, 2)	0.4532946552278861
  (1, 4)	0.4532946552278861
  (2, 3)	0.7674945674619879
  (2, 2)	0.4532946552278861
  (2, 4)	0.4532946552278861
[[0.76749457 0.         0.45329466 0.         0.45329466]
 [0.         0.76749457 0.45329466 0.         0.45329466]
 [0.         0.         0.45329466 0.76749457 0.45329466]]
['cat' 'dog' 'is' 'rat' 'this']
'''

无量纲化

去掉数据的单位,把数据的只用数值来表示,转化为没有单位的量。

无量纲化之后可以使得不同的物理量,可以在一个范围内进行比较或者运算

现实中的数据单位不同,导致不同类型的数据之间的差异,影响对样本特征的处理

  • 归一化MinMaxScaler

把原始数据变换到指定的范围,默认0-1 (比例尺的缩放)

x = (x-x_min)/(x_max-x_min) 得到的x就是0-1范围的值

如果需要在其他范围的映射(a,b)得到0-1的x在进行运算

x_scaled = (b-a)x+a

sklearn.preprocessing.MinMaxScaler 缩放 范围元组

python 复制代码
import sklearn.preprocessing

data = np.random.randint(0,46,(3,3))
transf = sklearn.preprocessing.MinMaxScaler((0,1))
trans_data = transf.fit_transform(data)
print('data',data)
print('transf_data',trans_data)

'''
data [[42 12 20]
 [24 24 43]
 [28 12 28]]
transf_data [[1.         0.         0.        ]
 [0.         1.         1.        ]
 [0.22222222 0.         0.34782609]]
'''
  • 标准化StandardScaler

根据数据的均值和方差,把数据转化为均值为0,标准差为1 的分布

x = (x-μ)/σ

μ是均值,σ是标准差

python 复制代码
# 标准化
data = np.random.randint(0,1000,(3,3))
transf = sklearn.preprocessing.StandardScaler()
trans_data = transf.fit_transform(data)
print('data',data)
print('transf_data',trans_data)

'''
data [[592 750 354]
 [870 844 989]
 [217 480 371]]
transf_data [[ 0.12084303  0.38025112 -0.73568456]
 [ 1.15984392  0.98951711  1.41382324]
 [-1.28068695 -1.36976822 -0.67813868]]
'''

特征降维

数据集中的特征并都是有用的,有的特征可以通过其他特征表示,也就是两个特征有相关性。同时,一些相同的数据特征,方差较小,不能区别出不同类型的样本,这样的特征是冗余的。

对这些特征进行降维,去除特征,可以提高计算效率

  • 特征选择

    • 低方差特征过滤
    python 复制代码
    # 低方差过滤  
    import sklearn.feature_selection
    
    
    data = [
        [10,1],
        [10,2],
        [10,3],
        [10,4],
        [10,5],
        [10,6],
        [10,7],
    ]
    select = sklearn.feature_selection.VarianceThreshold(1)
    new_data = select.fit_transform(data)
    new_data
    
    '''
    array([[1],
           [2],
           [3],
           [4],
           [5],
           [6],
           [7]])
    '''
    • 相关系数特征选择
    python 复制代码
    # 相关系数特征选择
    from scipy.stats import pearsonr
    data = np.array([[i,i*10] for i in range(10)])
    r = pearsonr(data[:,0],data[:,1])
    print(r)
    print(r.statistic) # 相关性
    print(r.pvalue) #  皮尔逊系数的p值 相关性显著水平 
    '''
    PearsonRResult(statistic=1.0, pvalue=0.0)
    1.0
    0.0
    '''
  • 主成分分析

    • PCA

    通过矩阵线性变换,保留样本方差最大的特征值,得到新的特征,每个新的特征就是一个主成分

    PCA n_components 参数是整数,保留多少特征,小数,保存多少比例的信息

    python 复制代码
    import sklearn.decomposition
    import numpy as np
    
    np.random.seed(10) # 随机种子
    data = np.random.random_sample((5,10))
    transf = sklearn.decomposition.PCA(n_components=0.7)  # 保留70%的方差
    new_data = transf.fit_transform(data)
    print(data)
    print(new_data)
    
    '''
    [[0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665
      0.19806286 0.76053071 0.16911084 0.08833981]
     [0.68535982 0.95339335 0.00394827 0.51219226 0.81262096 0.61252607
      0.72175532 0.29187607 0.91777412 0.71457578]
     [0.54254437 0.14217005 0.37334076 0.67413362 0.44183317 0.43401399
      0.61776698 0.51313824 0.65039718 0.60103895]
     [0.8052232  0.52164715 0.90864888 0.31923609 0.09045935 0.30070006
      0.11398436 0.82868133 0.04689632 0.62628715]
     [0.54758616 0.819287   0.19894754 0.8568503  0.35165264 0.75464769
      0.29596171 0.88393648 0.32551164 0.1650159 ]]
    
    [[-0.6061961  -0.19193152]
     [ 1.03258766 -0.05359811]
     [ 0.16724648 -0.43674706]
     [-0.67480645  0.0573277 ]
     [ 0.08116841  0.62494898]]
    '''
相关推荐
阿里云大数据AI技术7 小时前
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Next系列模型
人工智能
袁庭新8 小时前
全球首位AI机器人部长,背负反腐重任
人工智能·aigc
机器之心8 小时前
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
人工智能·openai
算家计算8 小时前
AI配音革命!B站最新开源IndexTTS2本地部署教程:精准对口型,情感随心换
人工智能·开源·aigc
量子位8 小时前
马斯克周末血裁xAI 500人
人工智能·ai编程
算家计算8 小时前
OpenAI最强编程模型GPT-5-Codex发布!可独立编程7小时,编程效率提升10倍
人工智能·ai编程·资讯
聚客AI10 小时前
🌟大模型为什么产生幻觉?预训练到推理的漏洞全揭秘
人工智能·llm·掘金·日新计划
Juchecar10 小时前
一文讲清 nn.Sequential 等容器类
人工智能
阿里云云原生11 小时前
如何快速看懂「祖传项目」?Qoder 强势推出新利器
人工智能
美团技术团队11 小时前
LongCat-Flash:如何使用 SGLang 部署美团 Agentic 模型
人工智能·算法