李沐--动手学深度学习GoogLeNet

1.框架理论

2.模型参数演变过程

python 复制代码
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

#在Inception块中,通常调整的超参数是每层输出通道数。
class Inception(nn.Module):
     #c1--c4是每条路径的输出通道数
     def __init__(self,in_channels,c1,c2,c3,c4,**kwargs):
         super(Inception,self).__init__(**kwargs)
         #线路1,单1x1卷积层
         self.p1_1 = nn.Conv2d(in_channels,c1,kernel_size=1)
         #线路2,1x1卷积层后接3x3卷积层
         self.p2_1 = nn.Conv2d(in_channels,c2[0],kernel_size=1)
         self.p2_2 = nn.Conv2d(c2[0],c2[1],kernel_size=3,padding=1)
         #线路3,1x1卷积层后接5x5卷积层
         self.p3_1 = nn.Conv2d(in_channels,c3[0],kernel_size=1)
         self.p3_2 = nn.Conv2d(c3[0],c3[1],kernel_size=5,padding=2)
         #线路4,3x3最大汇聚层后接1x1卷积层
         self.p4_1 = nn.MaxPool2d(kernel_size=3,stride=1,padding=1)
         self.p4_2 = nn.Conv2d(in_channels,c4,kernel_size=1)

     def forward(self,x):
         p1 = F.relu(self.p1_1(x))
         p2 = F.relu(self.p2_2(F.relu(self.p2_1(x))))
         p3 = F.relu(self.p3_2(F.relu(self.p3_1(x))))
         p4 = F.relu(self.p4_2(self.p4_1(x)))
         #在通道维度上连结输出
         return torch.cat((p1,p2,p3,p4),dim=1)

#第一个模块使用64个通道、7*7卷积层
b1 = nn.Sequential(nn.Conv2d(1,64,kernel_size=7,stride=2,padding=3),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第二个模块使用两个卷积层:这对应于Inception块中的第二条路径。
#第一个卷积层是64个通道、1*1卷积层;
#第二个卷积层使用将通道数量增加三倍的3*3卷积层。
b2 = nn.Sequential(nn.Conv2d(64,64,kernel_size=1),
                   nn.ReLU(),
                   nn.Conv2d(64,192,kernel_size=3,padding=1),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第三个模块串联两个完整的Inception块。
b3 = nn.Sequential(Inception(192,64,(96,128),(16,32),32),
                   Inception(256,128,(128,192),(32,96),64),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第四模块更加复杂,串联了5个Inception块.
b4 = nn.Sequential(Inception(480,192,(96,208),(16,48),64),
                   Inception(512,160,(112,224),(24,64),64),
                   Inception(512,128,(128,256),(24,64),64),
                   Inception(512,112,(144,288),(32,64),64),
                   Inception(528,256,(160,320),(32,128),128),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第五模块包含输出通道数为...和...的两个Inception块。
b5 = nn.Sequential(Inception(832,256,(160,320),(32,128),128),
                   Inception(832,384,(192,384),(48,128),128),
                   nn.AdaptiveAvgPool2d((1,1)),
                   nn.Flatten())
net = nn.Sequential(b1,b2,b3,b4,b5,nn.Linear(1024,10))


X = torch.rand(size=(1,1,96,96))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)

3.模型训练

python 复制代码
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

#在Inception块中,通常调整的超参数是每层输出通道数。
class Inception(nn.Module):
     #c1--c4是每条路径的输出通道数
     def __init__(self,in_channels,c1,c2,c3,c4,**kwargs):
         super(Inception,self).__init__(**kwargs)
         #线路1,单1x1卷积层
         self.p1_1 = nn.Conv2d(in_channels,c1,kernel_size=1)
         #线路2,1x1卷积层后接3x3卷积层
         self.p2_1 = nn.Conv2d(in_channels,c2[0],kernel_size=1)
         self.p2_2 = nn.Conv2d(c2[0],c2[1],kernel_size=3,padding=1)
         #线路3,1x1卷积层后接5x5卷积层
         self.p3_1 = nn.Conv2d(in_channels,c3[0],kernel_size=1)
         self.p3_2 = nn.Conv2d(c3[0],c3[1],kernel_size=5,padding=2)
         #线路4,3x3最大汇聚层后接1x1卷积层
         self.p4_1 = nn.MaxPool2d(kernel_size=3,stride=1,padding=1)
         self.p4_2 = nn.Conv2d(in_channels,c4,kernel_size=1)

     def forward(self,x):
         p1 = F.relu(self.p1_1(x))
         p2 = F.relu(self.p2_2(F.relu(self.p2_1(x))))
         p3 = F.relu(self.p3_2(F.relu(self.p3_1(x))))
         p4 = F.relu(self.p4_2(self.p4_1(x)))
         #在通道维度上连结输出
         return torch.cat((p1,p2,p3,p4),dim=1)

#第一个模块使用64个通道、7*7卷积层
b1 = nn.Sequential(nn.Conv2d(1,64,kernel_size=7,stride=2,padding=3),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第二个模块使用两个卷积层:这对应于Inception块中的第二条路径。
#第一个卷积层是64个通道、1*1卷积层;
#第二个卷积层使用将通道数量增加三倍的3*3卷积层。
b2 = nn.Sequential(nn.Conv2d(64,64,kernel_size=1),
                   nn.ReLU(),
                   nn.Conv2d(64,192,kernel_size=3,padding=1),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第三个模块串联两个完整的Inception块。
b3 = nn.Sequential(Inception(192,64,(96,128),(16,32),32),
                   Inception(256,128,(128,192),(32,96),64),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第四模块更加复杂,串联了5个Inception块.
b4 = nn.Sequential(Inception(480,192,(96,208),(16,48),64),
                   Inception(512,160,(112,224),(24,64),64),
                   Inception(512,128,(128,256),(24,64),64),
                   Inception(512,112,(144,288),(32,64),64),
                   Inception(528,256,(160,320),(32,128),128),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第五模块包含输出通道数为...和...的两个Inception块。
b5 = nn.Sequential(Inception(832,256,(160,320),(32,128),128),
                   Inception(832,384,(192,384),(48,128),128),
                   nn.AdaptiveAvgPool2d((1,1)),
                   nn.Flatten())
net = nn.Sequential(b1,b2,b3,b4,b5,nn.Linear(1024,10))

'''
X = torch.rand(size=(1,1,96,96))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)
'''

#使用Fashion-MNIST数据集来训练我们的模型。在训练之前,将图片转换为96X96分辨率。
lr,num_epochs,batch_size = 0.1,10,128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=96)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())
相关推荐
chxin1401630 分钟前
循环神经网络——动手学深度学习7
人工智能·pytorch·rnn·深度学习
摘星编程34 分钟前
MCP提示词工程:上下文注入的艺术与科学
人工智能·提示词工程·a/b测试·mcp·上下文注入
W.KN1 小时前
PyTorch 数据类型和使用
人工智能·pytorch·python
虾饺爱下棋2 小时前
FCN语义分割算法原理与实战
人工智能·python·神经网络·算法
点云SLAM5 小时前
Eigen 中矩阵的拼接(Concatenation)与 分块(Block Access)操作使用详解和示例演示
人工智能·线性代数·算法·矩阵·eigen数学工具库·矩阵分块操作·矩阵拼接操作
木枷6 小时前
NAS-Bench-101: Towards Reproducible Neural Architecture Search
人工智能·物联网
BAOYUCompany6 小时前
暴雨服务器更懂人工智能+
运维·服务器·人工智能
飞哥数智坊6 小时前
Coze实战第17讲:工资条自动拆分+一对一邮件发送
人工智能·coze
cwn_7 小时前
自然语言处理NLP (1)
人工智能·深度学习·机器学习·自然语言处理
点云SLAM7 小时前
PyTorch中flatten()函数详解以及与view()和 reshape()的对比和实战代码示例
人工智能·pytorch·python·计算机视觉·3d深度学习·张量flatten操作·张量数据结构