SVD矩阵分解

目录

一、SVD矩阵分解

二、图片压缩


一、SVD矩阵分解

上篇内容 LLM微调和Lora 介绍了矩阵分解,通过两个低秩矩阵就能还原大量的信息。其实矩阵不止能分解成两个,还可以分成三个。这里来介绍一个SVD的工具。

用代码来说明一下:

python 复制代码
import numpy as np
from scipy.linalg import svd

A= np.array([[1, 2],
             [1, 1],
             [0, 0]])

p, s, q = svd(A, full_matrices=False)

print('P=', p)
print('S=', s)
print('Q=', q)

输出:

左边的矩阵是P,右边的矩阵是Q。S则表示对角阵 ,代表特征大小,从左到右依次减小

案例中仅有两个特征值,可以用两个特征值来还原所有的信息(上面的A公式)。如果矩阵很大,有很多个特征值,只需选择前面几个特征值就可以还原大部分信息。比如下面这个矩阵,特征值个数为2,计算方法如下:

二、图片压缩

LLM微调和Lora 上篇文章中提到用 2%的参数还原出矩阵,那么我们可以想想是不是可以用更少的信息还原出图片的内容呢?也可以说如何压缩图片?比如微信的图片打开,如果点下载原图会更清晰,但是不下载原图也能看清楚。

在卷积神经网络(CNN)这篇文章中讲了图片可以处理成矩阵。如下:随便找一张图片,处理成矩阵A,并作svd分解:

python 复制代码
image = Image.open(os.path.join(os.getcwd(), '123.bmp')).convert('L')
A = np.array(image)
# 显示原图像
plt.imshow(A, cmap=plt.cm.gray, interpolation='nearest')
plt.show()
# 对图像矩阵A进行奇异值分解,得到 p, s, q
p, s, q = svd(A, full_matrices=False)
print("A 的维度:", A.shape)
print(len(s))

输出:

特征值有777个,但是我只选其中一部分来还原图片:

python 复制代码
# 取前k个特征,对图像进行还原
def get_image_feature(s, k):
	# 对于S,只保留前K个特征值
	s_temp = np.zeros(s.shape[0])
	s_temp[0:k] = s[0:k]
	s = s_temp * np.identity(s.shape[0])

	# 用新的s_temp,以及p,q重构A
	temp = np.dot(p, s)
	temp = np.dot(temp, q)
	plt.imshow(temp, cmap=plt.cm.gray, interpolation='nearest')
	plt.show()
	print(A - temp)
    
# 取前k个特征,对图像进行还原
get_image_feature(s, 5)
get_image_feature(s, 50)
get_image_feature(s, 200)
get_image_feature(s, 500)

输出:

大家对比看下,感觉50个特征值时图片已经很清晰了,200个特征值时和原图的差距就很小了。

(864 * 50 + 50 + 50 * 777) /(864 * 777)约等于12%,即用12%的信息就还原出图片内容了。

相关推荐
智联视频超融合平台1 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟2 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯3 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐3 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777711 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn11 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健11 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道11 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99612 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音