Day39

知识点回顾总结

  1. 图像数据的格式

灰度数据:单通道(1个维度),像素值通常为0~255,表示亮度。

彩色数据:三通道(RGB,3个维度),每个通道代表红、绿、蓝的强度。

  1. 模型的定义

指神经网络的架构,包括层数、每层的神经元数量、激活函数等。

定义方式:通过框架(如PyTorch的nn.Module)构建计算图。

  1. 显存占用的4种地方

a. 模型参数 + 梯度参数:存储权重及反向传播时的梯度。

b. 优化器参数:如Adam优化器会保存动量(momentum)等额外变量。

c. 数据批量所占显存:输入数据(batch)的存储空间。

d. 神经元输出中间状态:前向传播时各层的输出(用于反向传播)。

  1. Batch Size 和训练的关系

增大 Batch Size:

提高训练速度(并行计算更高效)。

可能降低模型泛化能力(梯度估计更精确,但易陷入局部最优)。

显存占用增加(需存储更多数据、中间变量)。

减小 Batch Size:

训练更"噪声大"(梯度波动大,可能帮助逃离局部最优)。

显存占用减少,适合小显存设备。

训练速度变慢(数据利用率低)。

平衡点:需根据硬件(显存)和模型效果调整,通常通过实验选择最佳 batch size。


总结:理解数据格式、模型结构、显存分配和 batch size 的影响,能更高效地训练深度学习模型。

相关推荐
应用市场17 小时前
构建自定义命令行工具 - 打造专属指令体
开发语言·windows·python
东方佑17 小时前
从字符串中提取重复子串的Python算法解析
windows·python·算法
Dfreedom.18 小时前
一文掌握Python四大核心数据结构:变量、结构体、类与枚举
开发语言·数据结构·python·变量·数据类型
一半烟火以谋生18 小时前
Python + Pytest + Allure 自动化测试报告教程
开发语言·python·pytest
叶子丶苏19 小时前
第八节_PySide6基本窗口控件_按钮类控件(QAbstractButton)
python·pyqt
百锦再19 小时前
对前后端分离与前后端不分离(通常指服务端渲染)的架构进行全方位的对比分析
java·开发语言·python·架构·eclipse·php·maven
Blossom.11820 小时前
把AI“刻”进玻璃:基于飞秒激光量子缺陷的随机数生成器与边缘安全实战
人工智能·python·单片机·深度学习·神经网络·安全·机器学习
Kratzdisteln20 小时前
【Python OOP Diary 1.1】题目二:简单计算器,改错与优化
python·面向对象编程
小白银子21 小时前
零基础从头教学Linux(Day 53)
linux·运维·python
skywalk816321 小时前
基于频域的数字盲水印blind-watermark
linux·开发语言·python