【Python机器学习】利用PCA来简化数据——示例:利用PCA对半导体制造数据降维

数据背景:

通过半导体工程上的一些过程数据,对一些产品进行是否有缺陷的验证。

数据样例:

数据中包含了590个特征,且存在很多的缺失值,这些缺失值是以NaN标识的。因为在590个特征下,几乎所有样本都有NaN,因此去除不完整的样本不太现实。尽管我们可以将所有的NaN替换成0,但是由于并不知道这些值的意义,所以这样做是下策。比如如果有特征是温度值,那么这样处理就会出问题。

下面我们用平均值来代替缺失值,平均值根据那些非NaN得到:

python 复制代码
def replaceNanWithMean():
    datMat=loadDataSet('test/secom.data',' ')
    numFeat=shape(datMat)[1]
    for i in range(numFeat):
        #计算所有非NaN的平均值
        meanVal=mean(datMat[nonzero(~isnan(datMat[:,i].A))[0],i])
        #将所有的NaN置为平均值
        datMat[nonzero(isnan(datMat[:,i].A))[0],i]=meanVal
    return datMat

上述代码首先打开了数据集并计算出了其特征的数目,然后再在所有的特征上进行循环。对于每个特征,首先计算出那些非NaN值的平均值。然后,将所有的NaN替换成该平均值。

我们已经去除了所有的NaN,接下来在数据集上应用PCA。首先确认所需特征和可以去除特征的数目。PCA会给出数据中所包含的信息量。需要注意的是,数据和信息之间具有巨大的区别。数据指的是接收的原始材料,其中可能包含噪声和不相关信息。信息是指数据中的相关部分。这些并非只是抽象概念,我们还可以定量的计算数据中所包含的信息并决定保留的比例。

通过已有代码去除均值、计算协方差矩阵:

python 复制代码
dataMat=replaceNanWithMean()
meanVals=mean(dataMat,axis=0)
meanRemoved=dataMat-meanVals
covMat=cov(meanRemoved,rowvar=0)

最后对该矩阵进行特征值分析:

python 复制代码
eigVals,eigVects=linalg.eig(mat(covMat))
print(eigVals)

如上图,有很多数值,其中,有超过20%的特征值都是0,这意味着这些特征都是其他特征的副本,也就是说它们可以通过其他特征来表示,而本身没有提供额外的信息。

从大小排序来看,前15个的数量级大于10^5,这些是重要特征,只占所有特征的一部分。

相关推荐
张较瘦_3 分钟前
[论文阅读] 人工智能 | 读懂Meta-Fair:让LLM摆脱偏见的自动化测试新方法
论文阅读·人工智能
巴伦是只猫41 分钟前
【机器学习笔记 Ⅲ】4 特征选择
人工智能·笔记·机器学习
铲子Zzz42 分钟前
Java使用接口AES进行加密+微信小程序接收解密
java·开发语言·微信小程序
好心的小明1 小时前
【王树森推荐系统】召回11:地理位置召回、作者召回、缓存召回
人工智能·缓存·推荐系统·推荐算法
小小小新人121231 小时前
C语言 ATM (4)
c语言·开发语言·算法
Two_brushes.1 小时前
【linux网络】网络编程全流程详解:从套接字基础到 UDP/TCP 通信实战
linux·开发语言·网络·tcp/udp
weixin_418813871 小时前
Python-可视化学习笔记
笔记·python·学习
小白学大数据1 小时前
R语言爬虫实战:如何爬取分页链接并批量保存
开发语言·爬虫·信息可视化·r语言
争不过朝夕,又念着往昔1 小时前
Go语言反射机制详解
开发语言·后端·golang
lishaoan771 小时前
使用tensorflow的线性回归的例子(十二)
人工智能·tensorflow·线性回归·戴明回归