《机器学习》 基于SVD的矩阵分解 推导、案例实现

目录

一、SVD奇异值分解

1、什么是SVD

2、SVD的应用

1)数据降维

2)推荐算法

3)自然语言处理

3、核心

1)什么是酉矩阵

2)什么是对角矩阵

4、分解过程

二、推导

1、如何求解这三个矩阵

1)已知:

2)根据酉矩阵的特点即可得出:

3)隐含条件:

4)计算:

5)结论

2、实例

1)求U与V对应的协方差矩阵

2)求各自协方差矩阵对应的特征值和特征向量

[• 求A^T A对应的特征值和特征向量](#• 求A^T A对应的特征值和特征向量)

[• 求 A A^T 对应的特征值和特征向量](#• 求 A A^T 对应的特征值和特征向量)

三、代码实现

1、导包

2、代码演示

运行结果为:

代码调试状态:


一、SVD奇异值分解

1、什么是SVD

SVD就是奇异值分解。在机器学习中,SVD是一种常用的矩阵分解方法,用于将一个矩阵分解为三个矩阵的乘积。具体来说,对于一个m×n的实数矩阵A,SVD将其分解为以下形式:

A = UΣV^T

其中,U是一个m×m的正交矩阵Σ是一个m×n的对角矩阵V^T是一个n×n的正交矩阵 。Σ的对角线上的元素称为奇异值 ,表示原始矩阵A在对应的奇异向量方向上的重要程度

2、SVD的应用

1)数据降维

可以通过保留最重要的奇异值和对应的奇异向量,将原始数据降维到一个较低维度的表示,以减少数据的冗余和计算复杂度。

2)推荐算法

SVD可以分解用户-项目评分矩阵,从而得到用户和项目在一个低维的潜在空间中的表示,进而进行推荐。

3)自然语言处理

SVD可以用于词向量的降维和表示,从而实现语义分析 任务,如文本分类、情感分析、语义相似度计算,也可以用于对大规模文本数据进行降维和压缩,从而提高文本处理和存储的效率。

3、核心


对于任意矩阵A,我们总能够将其分解位三个矩阵𝑈 、 𝛴 、 𝑉 𝑇 。
其中: 为酉矩阵 为对角阵 为酉矩阵

1)什么是酉矩阵

酉矩阵 是线性代数中的一种特殊类型的矩阵。一个n×n的复矩阵U被称为酉矩阵,如果它满足以下条件:

1、U的共轭转置乘以U的结果等于单位矩阵I:U^H × U = I,其中U^H表示U的共轭转置。

2、U的逆矩阵等于它的共轭转置:U^(-1) = U^H。

2)什么是对角矩阵

对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵

4、分解过程

二、推导

1、如何求解这三个矩阵

1)已知:
2)根据酉矩阵的特点即可得出:
3)隐含条件:
4)计算:
5)结论


𝑈:𝐴𝐴^𝑇 的特征向量.
𝛴^2:𝐴𝐴^ 𝑇 的特征值.
𝑉:𝐴^𝑇 𝐴 的特征向量

2、实例

1)求U与V对应的协方差矩阵
2)求各自协方差矩阵对应的特征值和特征向量
• 求A^T A对应的特征值和特征向量
• 求 A A^T 对应的特征值和特征向量

三、代码实现

1、导包

python 复制代码
pip install pillow

2、代码演示

python 复制代码
import numpy as np
from PIL import Image   # 导入PIL库中的Image模块,用于处理图像文件
import matplotlib.pyplot as plt  # 导入绘图库

def pic_compress(k,pic_array):   # k表示保留的奇异值数量,pic_array表示输入的图像数组
    global u,sigma,vt,sig,new_pic  # 定义全局变量

    u,sigma,vt = np.linalg.svd(pic_array)   # 使用np库中的linalg模块的svd方法,对图像的数值进行奇异值分解,得到三个矩阵U、Σ和V^T,其中U和V是正交矩阵,Σ是一个对角矩阵,对角线上的元素称为奇异值
    sig = np.eye(k) * sigma[:k]   # 使用np中的函数eye生成一个kxk的单位矩阵,上述生成的sigma为奇异值,现在取前k个值,将其转换成对角矩阵,即对角线上的值为奇异值,其余值为0
    new_pic = np.dot(np.dot(u[:,:k],sig),vt[:k,:]) # dot用于执行数组乘法
    size = u.shape[0] * k + sig.shape[0] * sig.shape[1] + k * vt.shape[1]  # 变换后的图像为u矩阵、sigma矩阵和vt矩阵,这里计算图像的大小
    return new_pic,size  # 返回压缩后的图像数值和尺寸大小

img = Image.open('timg.jpg')  # 打开图像
ori_img = np.array(img)   # 将图像转换成numpy数组
new_img ,size = pic_compress(100,ori_img)  # 调用pic_compress函数对图像进行压缩,导入图片数组,100表示保留的前100个奇异值
print('original size:'+ str(ori_img.shape[0]*ori_img.shape[1]))  # 原始图片的大小,shape[0]和[1]分别表示行数和列数
print('compress size:' + str(size))  # 打印压缩后的像素大小

fig,ax = plt.subplots(1,2)  # 设置画布有两张图,fig是整个图像的窗口对象,ax是两个图像的数组
ax[0].imshow(ori_img,cmap='gray')  # 展示第一个图形,为原始图像,cmp='gray'表示图像以灰度图展示
ax[0].set_title('before compress')   # 设置第一个图像的标题
ax[1].imshow(new_img,cmap='gray')   # 展示第二个图像,为压缩后的图像
ax[1].set_title("after compress")
plt.show()
运行结果为:

左侧为原始图像,右侧为压缩后图像,他们的大小为:

代码调试状态:
相关推荐
Dola_Pan3 分钟前
C语言:数组转换指针的时机
c语言·开发语言·算法
IT古董12 分钟前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
繁依Fanyi16 分钟前
简易安卓句分器实现
java·服务器·开发语言·算法·eclipse
烦躁的大鼻嘎32 分钟前
模拟算法实例讲解:从理论到实践的编程之旅
数据结构·c++·算法·leetcode
C++忠实粉丝1 小时前
计算机网络socket编程(4)_TCP socket API 详解
网络·数据结构·c++·网络协议·tcp/ip·计算机网络·算法
机器人虎哥1 小时前
【8210A-TX2】Ubuntu18.04 + ROS_ Melodic + TM-16多线激光 雷达评测
人工智能·机器学习
用户37791362947551 小时前
【循环神经网络】只会Python,也能让AI写出周杰伦风格的歌词
人工智能·算法
福大大架构师每日一题1 小时前
文心一言 VS 讯飞星火 VS chatgpt (396)-- 算法导论25.2 1题
算法·文心一言
EterNity_TiMe_2 小时前
【论文复现】(CLIP)文本也能和图像配对
python·学习·算法·性能优化·数据分析·clip
机器学习之心2 小时前
一区北方苍鹰算法优化+创新改进Transformer!NGO-Transformer-LSTM多变量回归预测
算法·lstm·transformer·北方苍鹰算法优化·多变量回归预测·ngo-transformer