李沐--动手学深度学习GoogLeNet

1.框架理论

2.模型参数演变过程

python 复制代码
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

#在Inception块中,通常调整的超参数是每层输出通道数。
class Inception(nn.Module):
     #c1--c4是每条路径的输出通道数
     def __init__(self,in_channels,c1,c2,c3,c4,**kwargs):
         super(Inception,self).__init__(**kwargs)
         #线路1,单1x1卷积层
         self.p1_1 = nn.Conv2d(in_channels,c1,kernel_size=1)
         #线路2,1x1卷积层后接3x3卷积层
         self.p2_1 = nn.Conv2d(in_channels,c2[0],kernel_size=1)
         self.p2_2 = nn.Conv2d(c2[0],c2[1],kernel_size=3,padding=1)
         #线路3,1x1卷积层后接5x5卷积层
         self.p3_1 = nn.Conv2d(in_channels,c3[0],kernel_size=1)
         self.p3_2 = nn.Conv2d(c3[0],c3[1],kernel_size=5,padding=2)
         #线路4,3x3最大汇聚层后接1x1卷积层
         self.p4_1 = nn.MaxPool2d(kernel_size=3,stride=1,padding=1)
         self.p4_2 = nn.Conv2d(in_channels,c4,kernel_size=1)

     def forward(self,x):
         p1 = F.relu(self.p1_1(x))
         p2 = F.relu(self.p2_2(F.relu(self.p2_1(x))))
         p3 = F.relu(self.p3_2(F.relu(self.p3_1(x))))
         p4 = F.relu(self.p4_2(self.p4_1(x)))
         #在通道维度上连结输出
         return torch.cat((p1,p2,p3,p4),dim=1)

#第一个模块使用64个通道、7*7卷积层
b1 = nn.Sequential(nn.Conv2d(1,64,kernel_size=7,stride=2,padding=3),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第二个模块使用两个卷积层:这对应于Inception块中的第二条路径。
#第一个卷积层是64个通道、1*1卷积层;
#第二个卷积层使用将通道数量增加三倍的3*3卷积层。
b2 = nn.Sequential(nn.Conv2d(64,64,kernel_size=1),
                   nn.ReLU(),
                   nn.Conv2d(64,192,kernel_size=3,padding=1),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第三个模块串联两个完整的Inception块。
b3 = nn.Sequential(Inception(192,64,(96,128),(16,32),32),
                   Inception(256,128,(128,192),(32,96),64),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第四模块更加复杂,串联了5个Inception块.
b4 = nn.Sequential(Inception(480,192,(96,208),(16,48),64),
                   Inception(512,160,(112,224),(24,64),64),
                   Inception(512,128,(128,256),(24,64),64),
                   Inception(512,112,(144,288),(32,64),64),
                   Inception(528,256,(160,320),(32,128),128),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第五模块包含输出通道数为...和...的两个Inception块。
b5 = nn.Sequential(Inception(832,256,(160,320),(32,128),128),
                   Inception(832,384,(192,384),(48,128),128),
                   nn.AdaptiveAvgPool2d((1,1)),
                   nn.Flatten())
net = nn.Sequential(b1,b2,b3,b4,b5,nn.Linear(1024,10))


X = torch.rand(size=(1,1,96,96))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)

3.模型训练

python 复制代码
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

#在Inception块中,通常调整的超参数是每层输出通道数。
class Inception(nn.Module):
     #c1--c4是每条路径的输出通道数
     def __init__(self,in_channels,c1,c2,c3,c4,**kwargs):
         super(Inception,self).__init__(**kwargs)
         #线路1,单1x1卷积层
         self.p1_1 = nn.Conv2d(in_channels,c1,kernel_size=1)
         #线路2,1x1卷积层后接3x3卷积层
         self.p2_1 = nn.Conv2d(in_channels,c2[0],kernel_size=1)
         self.p2_2 = nn.Conv2d(c2[0],c2[1],kernel_size=3,padding=1)
         #线路3,1x1卷积层后接5x5卷积层
         self.p3_1 = nn.Conv2d(in_channels,c3[0],kernel_size=1)
         self.p3_2 = nn.Conv2d(c3[0],c3[1],kernel_size=5,padding=2)
         #线路4,3x3最大汇聚层后接1x1卷积层
         self.p4_1 = nn.MaxPool2d(kernel_size=3,stride=1,padding=1)
         self.p4_2 = nn.Conv2d(in_channels,c4,kernel_size=1)

     def forward(self,x):
         p1 = F.relu(self.p1_1(x))
         p2 = F.relu(self.p2_2(F.relu(self.p2_1(x))))
         p3 = F.relu(self.p3_2(F.relu(self.p3_1(x))))
         p4 = F.relu(self.p4_2(self.p4_1(x)))
         #在通道维度上连结输出
         return torch.cat((p1,p2,p3,p4),dim=1)

#第一个模块使用64个通道、7*7卷积层
b1 = nn.Sequential(nn.Conv2d(1,64,kernel_size=7,stride=2,padding=3),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第二个模块使用两个卷积层:这对应于Inception块中的第二条路径。
#第一个卷积层是64个通道、1*1卷积层;
#第二个卷积层使用将通道数量增加三倍的3*3卷积层。
b2 = nn.Sequential(nn.Conv2d(64,64,kernel_size=1),
                   nn.ReLU(),
                   nn.Conv2d(64,192,kernel_size=3,padding=1),
                   nn.ReLU(),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第三个模块串联两个完整的Inception块。
b3 = nn.Sequential(Inception(192,64,(96,128),(16,32),32),
                   Inception(256,128,(128,192),(32,96),64),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第四模块更加复杂,串联了5个Inception块.
b4 = nn.Sequential(Inception(480,192,(96,208),(16,48),64),
                   Inception(512,160,(112,224),(24,64),64),
                   Inception(512,128,(128,256),(24,64),64),
                   Inception(512,112,(144,288),(32,64),64),
                   Inception(528,256,(160,320),(32,128),128),
                   nn.MaxPool2d(kernel_size=3,stride=2,padding=1))
#第五模块包含输出通道数为...和...的两个Inception块。
b5 = nn.Sequential(Inception(832,256,(160,320),(32,128),128),
                   Inception(832,384,(192,384),(48,128),128),
                   nn.AdaptiveAvgPool2d((1,1)),
                   nn.Flatten())
net = nn.Sequential(b1,b2,b3,b4,b5,nn.Linear(1024,10))

'''
X = torch.rand(size=(1,1,96,96))
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)
'''

#使用Fashion-MNIST数据集来训练我们的模型。在训练之前,将图片转换为96X96分辨率。
lr,num_epochs,batch_size = 0.1,10,128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=96)
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())
相关推荐
加油吧zkf5 分钟前
目标检测新纪元:DETR到Mamba实战解析
图像处理·人工智能·python·目标检测·分类
西柚小萌新11 分钟前
【深度学习:进阶篇】--4.3.seq2seq与Attention机制
人工智能·深度学习
求索小沈12 分钟前
ubuntu22.04 安装cuda cudnn
人工智能·深度学习
阿里云大数据AI技术21 分钟前
AI搜索 MCP最佳实践
数据库·人工智能·搜索引擎
大千AI助手21 分钟前
蒙特卡洛方法:随机抽样的艺术与科学
人工智能·机器学习·贝叶斯·概率·蒙特卡洛·随机
山顶望月川24 分钟前
并行科技MaaS平台支持文心4.5系列开源模型调用
人工智能·机器学习·编辑器
安思派Anspire1 小时前
再见 RAG?Gemini 2.0 Flash 刚刚 “杀死” 了它!
人工智能
FF-Studio1 小时前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
master-dragon1 小时前
spring-ai 工作流
人工智能·spring·ai
moonless02221 小时前
🌈Transformer说人话版(二)位置编码 【持续更新ing】
人工智能·llm