Pytorch个人学习记录总结 07

目录

神经网络-非线性激活

神经网络-线形层及其他层介绍


神经网络-非线性激活

官方文档地址:torch.nn --- PyTorch 2.0 documentation

常用的:Sigmoid、ReLU、LeakyReLU等。

作用:为模型引入非线性特征,这样才能在训练过程中训练出符合更多特征的模型。

其中有个参数是inplace,默认为False,表示是否就地改变输入值 ,True则表示直接改变了input不再有另外的返回值;False则没有直接改变input并有返回值(建议是inplace=False)。

python 复制代码
import torch
from torch import nn

input = torch.tensor([[3, -1],
                      [-0.5, 1]])
input = torch.reshape(input, (1, 1, 2, 2))

relu = nn.ReLU()
input_relu = relu(input)

print('input={}\ninput_relu:{}'.format(input, input_relu))

# input=tensor([[[[ 3.0000, -1.0000],
#           [-0.5000,  1.0000]]]])
# input_relu:tensor([[[[3., 0.],
#           [0., 1.]]]])

神经网络-线形层及其他层介绍

Linear Layers中的torch.nn.Linear(in_features, out_features, bias=True)。默认bias=True。对传入数据应用线性变换

Parameters

  • in_features -- size of each input sample(每个输入样本的大小)
  • out_features -- size of each output sample(每个输出样本的大小)
  • bias -- If set to False, the layer will not learn an additive bias. Default: True(如果为False,则该层不会学习加法偏置,默认为true)

Shape :分别关注输入、输出的最后一个维度 的大小,在训练过程中,nn.Linear往往是当作的展平为一维后最后几步的全连接层,所以此时就只关注了通道数,即往往Input和Outputs是一维的)

"展平为一维"经常用到torch.nn.Flatten(start_dim=1, end_dim=- 1)

想说一下start_dim,它表示"从start_dim开始把后面的维度都展平到同一维度上",默认是是1,在实际训练中从start_dim=1开始展平,因为在训练中的tensor是4维的,分别是[batch_size, C, H, W],而第0维的batch_size不能动它,所以是从1开始的。

还比较重要的有:torch.nn.BatchNorm2dtorch.nn.DropoutLoss Functions(之后再讲)。其它的Transformer Layers、Recurrent Layers都不是很常用。

python 复制代码
import torch

# 对4维tensor展平,start_dim=1

input = torch.arange(54)
input = torch.reshape(input, (2, 3, 3, 3))

y_0 = torch.flatten(input)
y_1 = torch.flatten(input, start_dim=1)

print(input.shape)
print(y_0.shape)
print(y_1.shape)

# torch.Size([2, 3, 3, 3])
# torch.Size([54])
# torch.Size([2, 27])
相关推荐
云雾J视界12 小时前
开源协作2.0:GitHub Discussions+AI重构开发者社区的知识共创生态
人工智能·开源·github·discussions·知识共创·社区知识·ai重构
橘子海全栈攻城狮12 小时前
【源码+文档+调试讲解】基于SpringBoot + Vue的知识产权管理系统 041
java·vue.js·人工智能·spring boot·后端·安全·spring
Jose_lz12 小时前
C#开发学习杂笔(更新中)
开发语言·学习·c#
QT 小鲜肉12 小时前
【个人成长笔记】Qt 中 SkipEmptyParts 编译错误解决方案及版本兼容性指南
数据库·c++·笔记·qt·学习·学习方法
赋范大模型技术社区13 小时前
OpenAI Agent Kit 全网首发深度解读与上手指南
人工智能·workflow·内置评估
一位代码13 小时前
python | requests爬虫如何正确获取网页编码?
开发语言·爬虫·python
阿里云大数据AI技术13 小时前
云栖实录 | AI 搜索智能探索:揭秘如何让搜索“有大脑”
人工智能·搜索引擎
可触的未来,发芽的智生13 小时前
新奇特:神经网络速比器,小镇债务清零的算法奇缘
javascript·人工智能·python
A9better13 小时前
嵌入式开发学习日志41——stm32之SPI总线基本结构
stm32·单片机·嵌入式硬件·学习
Aaplloo13 小时前
机器学习作业七
人工智能·机器学习