pytorch torch.norm函数介绍

torch.norm 函数用于计算张量的范数(norm),可以理解为张量的"长度"或"大小"。根据范数的不同类型,它可以衡量不同的张量性质。该函数可以计算 向量矩阵 的多种范数,如 L1范数L2范数无穷范数 等。

1. 函数签名

复制代码
torch.norm(input, p='fro', dim=None, keepdim=False, dtype=None, out=None)
  • input: 需要计算范数的输入张量。

  • p: 范数的类型,常用值包括:

    • 'fro' (默认值):Frobenius 范数(矩阵的元素平方和开平方,类似于 L2 范数)。
    • p=1:L1 范数,元素的绝对值和。
    • p=2:L2 范数,元素的平方和的平方根(也称为欧几里得范数)。
    • p=float('inf'):无穷范数,张量元素的最大绝对值。
    • 其他 p 值可以表示不同的 p-范数(如 p=3 表示元素的三次方和的开三次方根)。
  • dim: 计算范数的维度。如果不指定维度,默认计算整个张量的范数。可以指定一个或多个维度。

  • keepdim: 是否保持计算后的张量的维度。

  • dtype: 可选,指定输出张量的数据类型。

  • out: 可选,用于存储输出的张量。

2. 范数类型的解释

3. 示例

计算向量的 L2 范数
复制代码
import torch

a = torch.tensor([3.0, 4.0])

# 计算 L2 范数 (默认 p=2)
l2_norm = torch.norm(a)
print(f"L2 范数: {l2_norm.item()}")
计算 L1 范数
复制代码
# 计算 L1 范数
l1_norm = torch.norm(a, p=1)
print(f"L1 范数: {l1_norm.item()}")
计算无穷范数
复制代码
# 计算无穷范数
inf_norm = torch.norm(a, p=float('inf'))
print(f"无穷范数: {inf_norm.item()}")
计算矩阵的 Frobenius 范数
复制代码
b = torch.tensor([[1.0, 2.0], [3.0, 4.0]])

# 计算 Frobenius 范数
fro_norm = torch.norm(b, p='fro')
print(f"Frobenius 范数: {fro_norm.item()}")
指定维度计算范数
复制代码
# 计算矩阵每一行的 L2 范数
row_norms = torch.norm(b, p=2, dim=1)
print(f"每行的 L2 范数: {row_norms}")

4. 应用场景

  • L1 范数:用于稀疏性约束或正则化(Lasso 回归等)。
  • L2 范数:广泛用于优化问题、深度学习中的权重正则化、距离测量等。
  • 无穷范数:用于估计最大值(如误差上界的评估)。
  • Frobenius 范数:通常用于矩阵运算中,衡量矩阵的整体大小。

通过 torch.norm 函数,可以灵活选择不同的范数类型和维度,满足各种计算需求。

相关推荐
丁学文武2 分钟前
FlashAttention(V2)深度解析:从原理到工程实现
人工智能·深度学习·大模型应用·flashattention
大千AI助手2 分钟前
Dropout:深度学习中的随机丢弃正则化技术
人工智能·深度学习·神经网络·模型训练·dropout·正则化·过拟合
蚝油菜花6 分钟前
万字深度解析Claude Code的hook系统:让AI编程更智能、更可控|上篇—详解篇
人工智能·ai编程·claude
AImatters31 分钟前
2025 年PT展前瞻:人工智能+如何走进普通人的生活?
人工智能·ai·具身智能·智慧医疗·智慧出行·中国国际信息通信展览会·pt展
AI小书房40 分钟前
【人工智能通识专栏】第十五讲:视频生成
人工智能
zzywxc7871 小时前
AI工具全景洞察:从智能编码到模型训练的全链路剖析
人工智能·spring·ios·prompt·ai编程
甄心爱学习1 小时前
DataSet-深度学习中的常见类
人工智能·深度学习
伟贤AI之路1 小时前
【分享】中小学教材课本 PDF 资源获取指南
人工智能·pdf
三体世界1 小时前
测试用例全解析:从入门到精通(1)
linux·c语言·c++·python·功能测试·测试用例·测试覆盖率
Python私教1 小时前
Django全栈班v1.04 Python基础语法 20250912 下午
后端·python·django