Pytorch torch

PyTorch的torch模块是其核心组件,提供多维张量操作与GPU加速支持,具体功能如下:

1、核心功能架构

  1. 张量运算基础

    • 提供torch.Tensor数据结构,支持标量(0维)、向量(1维)、矩阵(2维)及高维数组操作。
    • 支持自动微分(Autograd)与动态计算图,适用于灵活构建复杂模型。
  2. GPU加速支持

    • 通过torch.cuda子模块实现NVIDIA GPU计算,需CUDA≥12.8及兼容驱动(如Blackwell架构需R570+)。
    • 张量可通过.to('cuda')迁移至GPU运算。

2、关键子模块

子模块 功能说明
torch.nn 神经网络层(如卷积、池化)、损失函数及模型容器类
torch.optim 优化算法(SGD、Adam等)实现,用于参数更新
torch.utils.data 数据加载工具(DatasetDataLoader),支持批量处理与多线程加载
torch.autograd 自动求导引擎,动态追踪张量操作以计算梯度

3 PyTorch torch API 手册

类别 API 描述
Tensors is_tensor(obj) 检查 obj 是否为 PyTorch 张量。
is_storage(obj) 检查 obj 是否为 PyTorch 存储对象。
is_complex(input) 检查 input 数据类型是否为复数数据类型。
is_conj(input) 检查 input 是否为共轭张量。
is_floating_point(input) 检查 input 数据类型是否为浮点数据类型。
is_nonzero(input) 检查 input 是否为非零单一元素张量。
set_default_dtype(d) 设置默认浮点数据类型为 d
get_default_dtype() 获取当前默认浮点 torch.dtype
set_default_device(device) 设置默认 torch.Tensor 分配的设备为 device
get_default_device() 获取默认 torch.Tensor 分配的设备。
numel(input) 返回 input 张量中的元素总数。
Creation Ops tensor(data) 通过复制 data 构造无自动梯度历史的张量。
sparse_coo_tensor(indices, values) 在指定的 indices 处构造稀疏张量,具有指定的值。
as_tensor(data) data 转换为张量,共享数据并尽可能保留自动梯度历史。
zeros(size) 返回一个用标量值 0 填充的张量,形状由 size 定义。
ones(size) 返回一个用标量值 1 填充的张量,形状由 size 定义。
arange(start, end, step) 返回一个 1-D 张量,包含从 startend 的值,步长为 step
rand(size) 返回一个从 [0, 1) 区间均匀分布的随机数填充的张量。
randn(size) 返回一个从标准正态分布填充的张量。
Math operations add(input, other, alpha) other(由 alpha 缩放)加到 input 上。
mul(input, other) inputother 相乘。
matmul(input, other) 执行 inputother 的矩阵乘法。
mean(input, dim) 计算 input 在维度 dim 上的均值。
sum(input, dim) 计算 input 在维度 dim 上的和。
max(input, dim) 返回 input 在维度 dim 上的最大值。
min(input, dim) 返回 input 在维度 dim 上的最小值。

3.1 Tensor 创建

函数 描述
torch.tensor(data, dtype, device, requires_grad) 从数据创建张量。
torch.as_tensor(data, dtype, device) 将数据转换为张量(共享内存)。
torch.from_numpy(ndarray) 从 NumPy 数组创建张量(共享内存)。
torch.zeros(*size, dtype, device, requires_grad) 创建全零张量。
torch.ones(*size, dtype, device, requires_grad) 创建全一张量。
torch.empty(*size, dtype, device, requires_grad) 创建未初始化的张量。
torch.arange(start, end, step, dtype, device, requires_grad) 创建等差序列张量。
torch.linspace(start, end, steps, dtype, device, requires_grad) 创建等间隔序列张量。
torch.logspace(start, end, steps, base, dtype, device, requires_grad) 创建对数间隔序列张量。
torch.eye(n, m, dtype, device, requires_grad) 创建单位矩阵。
torch.full(size, fill_value, dtype, device, requires_grad) 创建填充指定值的张量。
torch.rand(*size, dtype, device, requires_grad) 创建均匀分布随机张量(范围 [0, 1))。
torch.randn(*size, dtype, device, requires_grad) 创建标准正态分布随机张量。
torch.randint(low, high, size, dtype, device, requires_grad) 创建整数随机张量。
torch.randperm(n, dtype, device, requires_grad) 创建 0 到 n-1 的随机排列。

3.2 Tensor 操作

函数 描述
torch.cat(tensors, dim) 沿指定维度连接张量。
torch.stack(tensors, dim) 沿新维度堆叠张量。
torch.split(tensor, split_size, dim) 将张量沿指定维度分割。
torch.chunk(tensor, chunks, dim) 将张量沿指定维度分块。
torch.reshape(input, shape) 改变张量的形状。
torch.transpose(input, dim0, dim1) 交换张量的两个维度。
torch.squeeze(input, dim) 移除大小为 1 的维度。
torch.unsqueeze(input, dim) 在指定位置插入大小为 1 的维度。
torch.expand(input, size) 扩展张量的尺寸。
torch.narrow(input, dim, start, length) 返回张量的切片。
torch.permute(input, dims) 重新排列张量的维度。
torch.masked_select(input, mask) 根据布尔掩码选择元素。
torch.index_select(input, dim, index) 沿指定维度选择索引对应的元素。
torch.gather(input, dim, index) 沿指定维度收集指定索引的元素。
torch.scatter(input, dim, index, src) src 的值散布到 input 的指定位置。
torch.nonzero(input) 返回非零元素的索引。

3.3 数学运算

函数 描述
torch.add(input, other) 逐元素加法。
torch.sub(input, other) 逐元素减法。
torch.mul(input, other) 逐元素乘法。
torch.div(input, other) 逐元素除法。
torch.matmul(input, other) 矩阵乘法。
torch.pow(input, exponent) 逐元素幂运算。
torch.sqrt(input) 逐元素平方根。
torch.exp(input) 逐元素指数函数。
torch.log(input) 逐元素自然对数。
torch.sum(input, dim) 沿指定维度求和。
torch.mean(input, dim) 沿指定维度求均值。
torch.max(input, dim) 沿指定维度求最大值。
torch.min(input, dim) 沿指定维度求最小值。
torch.abs(input) 逐元素绝对值。
torch.clamp(input, min, max) 将张量值限制在指定范围内。
torch.round(input) 逐元素四舍五入。
torch.floor(input) 逐元素向下取整。
torch.ceil(input) 逐元素向上取整。

3.4 随机数生成

函数 描述
torch.manual_seed(seed) 设置随机种子。
torch.initial_seed() 返回当前随机种子。
torch.rand(*size) 创建均匀分布随机张量(范围 [0, 1))。
torch.randn(*size) 创建标准正态分布随机张量。
torch.randint(low, high, size) 创建整数随机张量。
torch.randperm(n) 返回 0 到 n-1 的随机排列。

3.5 线性代数

函数 描述
torch.dot(input, other) 计算两个向量的点积。
torch.mm(input, mat2) 矩阵乘法。
torch.bmm(input, mat2) 批量矩阵乘法。
torch.eig(input) 计算矩阵的特征值和特征向量。
torch.svd(input) 计算矩阵的奇异值分解。
torch.inverse(input) 计算矩阵的逆。
torch.det(input) 计算矩阵的行列式。
torch.trace(input) 计算矩阵的迹。

3.6 设备管理

函数 描述
torch.cuda.is_available() 检查 CUDA 是否可用。
torch.device(device) 创建一个设备对象(如 'cpu''cuda:0')。
torch.to(device) 将张量移动到指定设备。

4 实例

python 复制代码
import torch

# 创建张量
x = torch.tensor([1, 2, 3])
y = torch.zeros(2, 3)

# 数学运算
z = torch.add(x, 1)  # 逐元素加 1
print(z)

# 索引和切片
mask = x > 1
selected = torch.masked_select(x, mask)
print(selected)

# 设备管理
if torch.cuda.is_available():
    device = torch.device('cuda')
    x = x.to(device)
    print(x.device)
相关推荐
PPIO派欧云3 分钟前
PPIO上线阿里旗舰推理模型Qwen3-235B-A22B-Thinking-2507
人工智能·语言模型
赴33526 分钟前
Numpy 库 矩阵数学运算,点积,文件读取和保存等
人工智能·算法·numpy·random·dot
ManageEngineITSM44 分钟前
从混乱到秩序:IT服务管理如何重塑企业运营效率
大数据·人工智能·程序人生·职场和发展·itsm
东方佑1 小时前
高效序列建模新突破:SamOut模型解读与21.79%损失改进
开发语言·python
ahauedu1 小时前
用Java 代码实现一个简单的负载均衡逻辑
java·python·负载均衡
优宁维生物1 小时前
血液样本的分类与应用
人工智能·分类·数据挖掘
工业甲酰苯胺2 小时前
Django集成Swagger全指南:两种实现方案详解
python·django·sqlite
Blossom.1182 小时前
基于深度学习的图像分类:使用DenseNet实现高效分类
人工智能·深度学习·目标检测·机器学习·分类·数据挖掘·迁移学习
慧星云2 小时前
慧星云新增大模型服务 :多款大模型轻松调用
人工智能
蓝蜂物联网2 小时前
边缘计算网关与 EMCP 物联网云平台:无缝协作,共筑智能生态
人工智能·物联网·边缘计算