pytorch torch.norm函数介绍

torch.norm 函数用于计算张量的范数（norm），可以理解为张量的"长度"或"大小"。根据范数的不同类型，它可以衡量不同的张量性质。该函数可以计算 向量 和 矩阵 的多种范数，如 L1范数 、L2范数 、无穷范数 等。

1. 函数签名

torch.norm(input, p='fro', dim=None, keepdim=False, dtype=None, out=None)

• input: 需要计算范数的输入张量。

• p: 范数的类型，常用值包括：

  • 'fro' (默认值)：Frobenius 范数（矩阵的元素平方和开平方，类似于 L2 范数）。
  • p=1：L1 范数，元素的绝对值和。
  • p=2：L2 范数，元素的平方和的平方根（也称为欧几里得范数）。
  • p=float('inf')：无穷范数，张量元素的最大绝对值。
  • 其他 p 值可以表示不同的 p-范数（如 p=3 表示元素的三次方和的开三次方根）。

• dim: 计算范数的维度。如果不指定维度，默认计算整个张量的范数。可以指定一个或多个维度。

• keepdim: 是否保持计算后的张量的维度。

• dtype: 可选，指定输出张量的数据类型。

• out: 可选，用于存储输出的张量。

2. 范数类型的解释

• 

3. 示例

计算向量的 L2 范数

import torch

a = torch.tensor([3.0, 4.0])

# 计算 L2 范数 (默认 p=2)
l2_norm = torch.norm(a)
print(f"L2 范数: {l2_norm.item()}")

计算 L1 范数

# 计算 L1 范数
l1_norm = torch.norm(a, p=1)
print(f"L1 范数: {l1_norm.item()}")

计算无穷范数

# 计算无穷范数
inf_norm = torch.norm(a, p=float('inf'))
print(f"无穷范数: {inf_norm.item()}")

计算矩阵的 Frobenius 范数

b = torch.tensor([[1.0, 2.0], [3.0, 4.0]])

# 计算 Frobenius 范数
fro_norm = torch.norm(b, p='fro')
print(f"Frobenius 范数: {fro_norm.item()}")

指定维度计算范数

# 计算矩阵每一行的 L2 范数
row_norms = torch.norm(b, p=2, dim=1)
print(f"每行的 L2 范数: {row_norms}")

4. 应用场景

• L1 范数：用于稀疏性约束或正则化（Lasso 回归等）。
• L2 范数：广泛用于优化问题、深度学习中的权重正则化、距离测量等。
• 无穷范数：用于估计最大值（如误差上界的评估）。
• Frobenius 范数：通常用于矩阵运算中，衡量矩阵的整体大小。

通过 torch.norm 函数，可以灵活选择不同的范数类型和维度，满足各种计算需求。