【Python/Pytorch - 网络模型】-- 高阶SVD算法

文章目录

文章目录

  • [00 写在前面](#00 写在前面)
  • [01 基于Python版本的高阶SVD算代码](#01 基于Python版本的高阶SVD算代码)
  • [02 HOSVD 的步骤](#02 HOSVD 的步骤)

00 写在前面

高阶奇异值分解(Higher-Order SVD,HOSVD)是一种将传统的奇异值分解(SVD)扩展到高阶张量的方法。它能够将一个高阶张量分解成一个核心张量和一组正交矩阵,类似于将矩阵分解成奇异值矩阵和两个正交矩阵。HOSVD 在多维数据分析、压缩和降维等领域有广泛应用。

01 基于Python版本的高阶SVD算代码

python 复制代码
import numpy as np
import tensorly as tl
from tensorly.decomposition import tucker

# Create a random 3rd-order tensor
tensor = np.random.rand(3, 4, 5)

# Perform HOSVD (Tucker decomposition)
core, factors = tucker(tensor, ranks=[3, 4, 5])

print("Core tensor shape:", core.shape)
print("Factor matrices shapes:", [factor.shape for factor in factors])

# Reconstruct the tensor
reconstructed_tensor = tl.tucker_to_tensor((core, factors))

# Verify reconstruction accuracy
print("Original tensor shape:", tensor.shape)
print("Reconstructed tensor shape:", reconstructed_tensor.shape)
print("Reconstruction error:", np.linalg.norm(tensor - reconstructed_tensor))

高阶奇异值分解 (HOSVD) 介绍

基本概念

HOSVD 的基本思想是将一个 N 维张量 X \mathcal{X} X 分解为一个核心张量 S \mathcal{S} S 和一组因子矩阵 U ( 1 ) , U ( 2 ) , ... , U ( N ) U^{(1)}, U^{(2)}, \ldots, U^{(N)} U(1),U(2),...,U(N) 的乘积,这些因子矩阵是正交的。具体来说,对于一个三阶张量 X \mathcal{X} X,HOSVD 可以表示为:

X = S × 1 U ( 1 ) × 2 U ( 2 ) × 3 U ( 3 ) \mathcal{X} = \mathcal{S} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)} X=S×1U(1)×2U(2)×3U(3)

其中:

  • X \mathcal{X} X 是原始张量。
  • S \mathcal{S} S 是核心张量。
  • U ( i ) U^{(i)} U(i) 是正交矩阵,表示第 i i i 维的因子矩阵。
  • × i \times_i ×i 表示在第 i i i 维上的张量-矩阵乘积。

02 HOSVD 的步骤

  1. 构造模式矩阵:

    • 对于每一个模式(维度),将张量展平为矩阵,称为模式矩阵。例如,对于一个三阶张量 X \mathcal{X} X,我们可以得到三个模式矩阵 X ( 1 ) , X ( 2 ) , X ( 3 ) X_{(1)}, X_{(2)}, X_{(3)} X(1),X(2),X(3)。
  2. 计算奇异值分解:

    • 对每个模式矩阵进行奇异值分解(SVD),得到奇异值矩阵和左右奇异矩阵。对于模式矩阵 X ( i ) X_{(i)} X(i),可以得到 X ( i ) = U ( i ) Σ ( i ) ( V ( i ) ) T X_{(i)} = U^{(i)} \Sigma^{(i)} (V^{(i)})^T X(i)=U(i)Σ(i)(V(i))T。
  3. 构造因子矩阵:

    • 从每个模式矩阵的 SVD 结果中提取左奇异矩阵 U ( i ) U^{(i)} U(i) 作为对应维度的因子矩阵。
  4. 计算核心张量:

    • 使用张量-矩阵乘积计算核心张量 S \mathcal{S} S,即 S = X × 1 ( U ( 1 ) ) T × 2 ( U ( 2 ) ) T × 3 ( U ( 3 ) ) T \mathcal{S} = \mathcal{X} \times_1 (U^{(1)})^T \times_2 (U^{(2)})^T \times_3 (U^{(3)})^T S=X×1(U(1))T×2(U(2))T×3(U(3))T。
相关推荐
benchmark_cc3 分钟前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
武子康27 分钟前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea1 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen1 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
ZhengEnCi2 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程
泯泷2 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘2 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术2 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
Dmz丶2 小时前
前端转 AI 100 天 Day 45:阶段复盘——从“会调 API”到“做出 AI 产品”
python
Sakura_j_h_2 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver