食物分类问题


设置随机种子的目的:如果我们得到了一个特别好的模型,但后面可能无法复现了

python 复制代码
def seed_everything(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True
    random.seed(seed)
    np.random.seed(seed)
    os.environ['PYTHONHASHSEED'] = str(seed)
#################################################################
seed_everything(0)
###############################################

数据增广:

计算机不认识有变化的图片。所以我们在训练的时候就要对图片进行各种变换(比如变小和旋转),这样就能让模型见过足够多的照片,这样就相当于把数据集扩充了。

每次取一个batch的数据,都进行增广。

python 复制代码
#数据增广。
train_transform = transforms.Compose([
    transforms.ToPILImage(),#将张量(Tensor)转换为 PIL(Python Imaging Library)图像对象
    transforms.RandomResizedCrop(224),#把图片随机放大,再从其中拿出224*224.即只拿出原图的一部分。
    transforms.RandomRotation(50),#随机旋转
    transforms.ToTensor()#转为张量
])

在机器学习中,要把数据转换成张量的原因:大多数深度学习框架,如TensorFlow和PyTorch,都是基于张量进行计算的。这些框架提供了大量针对张量的优化算法和函数,可以高效地进行矩阵运算、梯度下降等操作。因此,为了利用这些框架进行深度学习,我们需要将数据转换为张量。

python 复制代码
class myModel(nn.Module):
    def __init__(self, num_class):#num_class是类别数
        super(myModel, self).__init__()
        #  3*224*224  -> 512*7*7
        self.layer1 = nn.Sequential(
            nn.Conv2d(3,64,3,1,1),
            nn.BatchNorm2d(64),
            nn.ReLU(),#卷积层也是需要激活函数的
            nn.MaxPool2d(2)#最大池化
        )
        #  64*112*112

        # self.conv2= nn.Conv2d(64,128,3,1,1)
        # self.bn2 = nn.BatchNorm2d(128)
        # self.relu2 = nn.ReLU()
        # self.pool2 = nn.MaxPool2d(2)
        self.layer2 = nn.Sequential(
            nn.Conv2d(64,128,3,1,1),
            nn.BatchNorm2d(128),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )
        #128*56*56

        self.layer3 = nn.Sequential(
            nn.Conv2d(128,256,3,1,1),
            nn.BatchNorm2d(256),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )

        #256*28*28
        self.layer4 = nn.Sequential(
            nn.Conv2d(256,512,3,1,1),
            nn.BatchNorm2d(512),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )
        # 512*14*14
        self.pool1 = nn.MaxPool2d(2)
        # 512*7*7 - 25088
        self.fc1 = nn.Linear(25088, 1000)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(1000, num_class)

BatchNorm2d是深度学习中的一种层,主要用于进行批归一化(Batch Normalization)操作。批归一化是一种常用的技术,用于解决深度神经网络训练中的梯度消失和梯度爆炸问题,提高网络的收敛速度和稳定性。它通过对每个小批量样本的特征进行规范化,使得特征的均值接近0,方差接近1,从而使输入数据分布更加稳定,有助于缓解梯度问题,提高网络的泛化能力。

argmax() 函数的作用是返回数组中最大元素的索引(位置)


迁移学习:数据量少时的最佳选择。eg:有个模型它训练得很好,已经训练了1000多万图片了,我们的模型效果很差,我们可以直接拿别人的模型。但最后的全连接不一样,我是分11类,他们是分1000类,所以我们只借特征提取器。

他们有很多预训练,我们只是微调。我们使用他们的参数和架构。

相关推荐
智联视频超融合平台4 分钟前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟1 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯2 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐2 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777710 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn10 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健10 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道11 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99611 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队12 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能