【Python/Pytorch - 网络模型】-- 高阶SVD算法

文章目录

文章目录

  • [00 写在前面](#00 写在前面)
  • [01 基于Python版本的高阶SVD算代码](#01 基于Python版本的高阶SVD算代码)
  • [02 HOSVD 的步骤](#02 HOSVD 的步骤)

00 写在前面

高阶奇异值分解(Higher-Order SVD,HOSVD)是一种将传统的奇异值分解(SVD)扩展到高阶张量的方法。它能够将一个高阶张量分解成一个核心张量和一组正交矩阵,类似于将矩阵分解成奇异值矩阵和两个正交矩阵。HOSVD 在多维数据分析、压缩和降维等领域有广泛应用。

01 基于Python版本的高阶SVD算代码

python 复制代码
import numpy as np
import tensorly as tl
from tensorly.decomposition import tucker

# Create a random 3rd-order tensor
tensor = np.random.rand(3, 4, 5)

# Perform HOSVD (Tucker decomposition)
core, factors = tucker(tensor, ranks=[3, 4, 5])

print("Core tensor shape:", core.shape)
print("Factor matrices shapes:", [factor.shape for factor in factors])

# Reconstruct the tensor
reconstructed_tensor = tl.tucker_to_tensor((core, factors))

# Verify reconstruction accuracy
print("Original tensor shape:", tensor.shape)
print("Reconstructed tensor shape:", reconstructed_tensor.shape)
print("Reconstruction error:", np.linalg.norm(tensor - reconstructed_tensor))

高阶奇异值分解 (HOSVD) 介绍

基本概念

HOSVD 的基本思想是将一个 N 维张量 X \mathcal{X} X 分解为一个核心张量 S \mathcal{S} S 和一组因子矩阵 U ( 1 ) , U ( 2 ) , ... , U ( N ) U^{(1)}, U^{(2)}, \ldots, U^{(N)} U(1),U(2),...,U(N) 的乘积,这些因子矩阵是正交的。具体来说,对于一个三阶张量 X \mathcal{X} X,HOSVD 可以表示为:

X = S × 1 U ( 1 ) × 2 U ( 2 ) × 3 U ( 3 ) \mathcal{X} = \mathcal{S} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)} X=S×1U(1)×2U(2)×3U(3)

其中:

  • X \mathcal{X} X 是原始张量。
  • S \mathcal{S} S 是核心张量。
  • U ( i ) U^{(i)} U(i) 是正交矩阵,表示第 i i i 维的因子矩阵。
  • × i \times_i ×i 表示在第 i i i 维上的张量-矩阵乘积。

02 HOSVD 的步骤

  1. 构造模式矩阵

    • 对于每一个模式(维度),将张量展平为矩阵,称为模式矩阵。例如,对于一个三阶张量 X \mathcal{X} X,我们可以得到三个模式矩阵 X ( 1 ) , X ( 2 ) , X ( 3 ) X_{(1)}, X_{(2)}, X_{(3)} X(1),X(2),X(3)。
  2. 计算奇异值分解

    • 对每个模式矩阵进行奇异值分解(SVD),得到奇异值矩阵和左右奇异矩阵。对于模式矩阵 X ( i ) X_{(i)} X(i),可以得到 X ( i ) = U ( i ) Σ ( i ) ( V ( i ) ) T X_{(i)} = U^{(i)} \Sigma^{(i)} (V^{(i)})^T X(i)=U(i)Σ(i)(V(i))T。
  3. 构造因子矩阵

    • 从每个模式矩阵的 SVD 结果中提取左奇异矩阵 U ( i ) U^{(i)} U(i) 作为对应维度的因子矩阵。
  4. 计算核心张量

    • 使用张量-矩阵乘积计算核心张量 S \mathcal{S} S,即 S = X × 1 ( U ( 1 ) ) T × 2 ( U ( 2 ) ) T × 3 ( U ( 3 ) ) T \mathcal{S} = \mathcal{X} \times_1 (U^{(1)})^T \times_2 (U^{(2)})^T \times_3 (U^{(3)})^T S=X×1(U(1))T×2(U(2))T×3(U(3))T。
相关推荐
LNTON羚通23 分钟前
摄像机视频分析软件下载LiteAIServer视频智能分析平台玩手机打电话检测算法技术的实现
算法·目标检测·音视频·监控·视频监控
湫ccc1 小时前
《Python基础》之字符串格式化输出
开发语言·python
mqiqe2 小时前
Python MySQL通过Binlog 获取变更记录 恢复数据
开发语言·python·mysql
AttackingLin2 小时前
2024强网杯--babyheap house of apple2解法
linux·开发语言·python
哭泣的眼泪4082 小时前
解析粗糙度仪在工业制造及材料科学和建筑工程领域的重要性
python·算法·django·virtualenv·pygame
珠海新立电子科技有限公司2 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
湫ccc2 小时前
《Python基础》之基本数据类型
开发语言·python
IT古董3 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
Microsoft Word3 小时前
c++基础语法
开发语言·c++·算法
曼城周杰伦3 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3