PyTorch的核心模块介绍

PyTorch的核心模块介绍

  • [1. torch 模块](#1. torch 模块)
  • [2. torch.Tensor 模块](#2. torch.Tensor 模块)
  • [3. torch.nn 模块](#3. torch.nn 模块)
  • [4. torch.optim 模块](#4. torch.optim 模块)
  • [5. torch.jit 模块](#5. torch.jit 模块)
  • [6. torch.onnx 模块](#6. torch.onnx 模块)
  • [7. torch.utils 模块](#7. torch.utils 模块)
  • [8. torch.autograd模块](#8. torch.autograd模块)
  • 9.其他模块

1. torch 模块

  • 包含常用的常量、函数和类等
  • 常用函数:
    • torch.add (加法操作)
    • torch.relu (激活函数)
    • torch.equal (数值判断函数)
    • torch.randn (生成随机数函数)
    • torch.ones (创建数值为1的矩阵函数)

2. torch.Tensor 模块

  • 该模块定义了不同数值类型的张量,比如整型、单精度浮点型、双精度浮点型
  • Tensor包含了众多的属性,常用的属性包括维度属性、设备属性、类型属性等。
  • Tensor还包含了很多函数,常用的方法包括数值运算、逻辑运算、索引操作等。

3. torch.nn 模块

  • 该模块是构建神经网络的核心模块。
  • 模块中定义了卷积、批归一化、激活、全连接、损失函数等。
  • 常规的卷积神经网络和损失函数都可以借助torch.nn模块完成。
  • torch.nn.functional 模块提供了神经网络的常用函数,比如卷积函数、池化函数、激活函数等。这些函数的作用和torch.nn木块中包含的类具有一致的功能。
  • torch.nn.init 模块提供了模型初始化的各种常见策略,比如:
    • torch.nn.init.constant_(常量初始化)
    • torch.nn.init.uniform_(均匀分布初始化)
    • torch.nn.init.normal_(正态分布初始化) 等。
  • 可以使用 torch.nn.init 模块中的初始化函数完成神经网络中卷积层、BN层以及全连接层的参数初始化过程。

4. torch.optim 模块

  • 优化器
    • torch.optim.SGD
    • torch.optim.RMSProp
    • torch.optim.Adam
  • 学习率调整算法(torch.optim.lr_scheduler)
    • torch.optim.lr_scheduler.StepLR(固定步长学习率调整)
    • torch.optim.lr_scheduler.CosineAnnealingLR(余弦退火学习率调整)

5. torch.jit 模块

  • jit 的全称是Just-In-Time 翻译为 即时编译器
  • 使用 jit 模块导出的静态图能够被 C++ 和 Java 等语言调用。

6. torch.onnx 模块

  • 该模块可以将PyTorch训练的模型转换为符合 onnx 格式(Open Neural Network Exchange,开放神经网络交换)的模型。

7. torch.utils 模块

  • 该模块包含多个子模块,用于辅助训练、测试和优化过程。
  • torch.utils.data 提供了数据读取的高效解决方案,可通过 DatasetDataLoader 配合的模式完成 mini-batch 训练模式所需要的 batch 数据。
  • torch.utils.bottleeneck 模块用于测试各部件的云心时间,帮助用户完成优化分析。
  • torch.utils.checkpoint 模块用于显存的优化,这里 checkpoint 的语义 和 TensorFlow 中是不同的。
  • torch.utils.cpp_extensions 定义了C++的扩展功能,能够方便用户使用C++语言实现更多的自定义操作。

8. torch.autograd模块

  • 该模块是自动求导功能的核心模块,支持浮点型张量的求导计算,是神经网络训练过程所用到的核心模块之一。

9.其他模块

  • torch.spase 模块定义了系数张量和相关函数;
  • torch.distributed 模块提供了分布式训练功能,可以实现大规模并行计算;
  • torch.hub 模块提供了众多的预训练模型,用户可以在线下载模型并保存到本地;
  • torch.multiprocessing 模块包含了多线程操作,以提高模型的训练效率;
  • torch.random 模块提供了随机数生成器,可以用于神经网络初始化过程中的随机种子的设定。

参考书籍《PyTorch神经网络实战》

相关推荐
吹风看太阳24 分钟前
机器学习16-总体架构
人工智能·机器学习
moonsims1 小时前
全国产化行业自主无人机智能处理单元-AI飞控+通信一体化模块SkyCore-I
人工智能·无人机
MUTA️1 小时前
ELMo——Embeddings from Language Models原理速学
人工智能·语言模型·自然语言处理
海豚调度1 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
T__TIII1 小时前
Dify 插件非正式打包
人工智能
jerwey1 小时前
大语言模型(LLM)按架构分类
人工智能·语言模型·分类
微学AI1 小时前
遥感影像岩性分类:基于CNN与CNN-EL集成学习的深度学习方法
深度学习·分类·cnn
IT古董1 小时前
【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(5)PyTorch 实战——使用 RNN 进行人名分类
pytorch·深度学习·神经网络
令狐少侠20112 小时前
ai之RAG本地知识库--基于OCR和文本解析器的新一代RAG引擎:RAGFlow 认识和源码剖析
人工智能·ai
小叮当爱咖啡2 小时前
Seq2seq+Attention 机器翻译
人工智能·自然语言处理·机器翻译