【Python/Pytorch - 网络模型】-- 高阶SVD算法

文章目录

文章目录

  • [00 写在前面](#00 写在前面)
  • [01 基于Python版本的高阶SVD算代码](#01 基于Python版本的高阶SVD算代码)
  • [02 HOSVD 的步骤](#02 HOSVD 的步骤)

00 写在前面

高阶奇异值分解(Higher-Order SVD,HOSVD)是一种将传统的奇异值分解(SVD)扩展到高阶张量的方法。它能够将一个高阶张量分解成一个核心张量和一组正交矩阵,类似于将矩阵分解成奇异值矩阵和两个正交矩阵。HOSVD 在多维数据分析、压缩和降维等领域有广泛应用。

01 基于Python版本的高阶SVD算代码

python 复制代码
import numpy as np
import tensorly as tl
from tensorly.decomposition import tucker

# Create a random 3rd-order tensor
tensor = np.random.rand(3, 4, 5)

# Perform HOSVD (Tucker decomposition)
core, factors = tucker(tensor, ranks=[3, 4, 5])

print("Core tensor shape:", core.shape)
print("Factor matrices shapes:", [factor.shape for factor in factors])

# Reconstruct the tensor
reconstructed_tensor = tl.tucker_to_tensor((core, factors))

# Verify reconstruction accuracy
print("Original tensor shape:", tensor.shape)
print("Reconstructed tensor shape:", reconstructed_tensor.shape)
print("Reconstruction error:", np.linalg.norm(tensor - reconstructed_tensor))

高阶奇异值分解 (HOSVD) 介绍

基本概念

HOSVD 的基本思想是将一个 N 维张量 X \mathcal{X} X 分解为一个核心张量 S \mathcal{S} S 和一组因子矩阵 U ( 1 ) , U ( 2 ) , ... , U ( N ) U^{(1)}, U^{(2)}, \ldots, U^{(N)} U(1),U(2),...,U(N) 的乘积,这些因子矩阵是正交的。具体来说,对于一个三阶张量 X \mathcal{X} X,HOSVD 可以表示为:

X = S × 1 U ( 1 ) × 2 U ( 2 ) × 3 U ( 3 ) \mathcal{X} = \mathcal{S} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)} X=S×1U(1)×2U(2)×3U(3)

其中:

  • X \mathcal{X} X 是原始张量。
  • S \mathcal{S} S 是核心张量。
  • U ( i ) U^{(i)} U(i) 是正交矩阵,表示第 i i i 维的因子矩阵。
  • × i \times_i ×i 表示在第 i i i 维上的张量-矩阵乘积。

02 HOSVD 的步骤

  1. 构造模式矩阵

    • 对于每一个模式(维度),将张量展平为矩阵,称为模式矩阵。例如,对于一个三阶张量 X \mathcal{X} X,我们可以得到三个模式矩阵 X ( 1 ) , X ( 2 ) , X ( 3 ) X_{(1)}, X_{(2)}, X_{(3)} X(1),X(2),X(3)。
  2. 计算奇异值分解

    • 对每个模式矩阵进行奇异值分解(SVD),得到奇异值矩阵和左右奇异矩阵。对于模式矩阵 X ( i ) X_{(i)} X(i),可以得到 X ( i ) = U ( i ) Σ ( i ) ( V ( i ) ) T X_{(i)} = U^{(i)} \Sigma^{(i)} (V^{(i)})^T X(i)=U(i)Σ(i)(V(i))T。
  3. 构造因子矩阵

    • 从每个模式矩阵的 SVD 结果中提取左奇异矩阵 U ( i ) U^{(i)} U(i) 作为对应维度的因子矩阵。
  4. 计算核心张量

    • 使用张量-矩阵乘积计算核心张量 S \mathcal{S} S,即 S = X × 1 ( U ( 1 ) ) T × 2 ( U ( 2 ) ) T × 3 ( U ( 3 ) ) T \mathcal{S} = \mathcal{X} \times_1 (U^{(1)})^T \times_2 (U^{(2)})^T \times_3 (U^{(3)})^T S=X×1(U(1))T×2(U(2))T×3(U(3))T。
相关推荐
哇咔咔哇咔4 分钟前
【科普】conda、virtualenv, venv分别是什么?它们之间有什么区别?
python·conda·virtualenv
杜杜的man8 分钟前
【go从零单排】迭代器(Iterators)
开发语言·算法·golang
幻风_huanfeng18 分钟前
线性代数中的核心数学知识
人工智能·机器学习
小沈熬夜秃头中୧⍤⃝24 分钟前
【贪心算法】No.1---贪心算法(1)
算法·贪心算法
CSXB9925 分钟前
三十四、Python基础语法(文件操作-上)
开发语言·python·功能测试·测试工具
volcanical26 分钟前
LangGPT结构化提示词编写实践
人工智能
木向1 小时前
leetcode92:反转链表||
数据结构·c++·算法·leetcode·链表
weyson1 小时前
CSharp OpenAI
人工智能·语言模型·chatgpt·openai
阿阿越1 小时前
算法每日练 -- 双指针篇(持续更新中)
数据结构·c++·算法
RestCloud1 小时前
ETLCloud异常问题分析ai功能
人工智能·ai·数据分析·etl·数据集成工具·数据异常