Day39

知识点回顾总结

  1. 图像数据的格式

灰度数据:单通道(1个维度),像素值通常为0~255,表示亮度。

彩色数据:三通道(RGB,3个维度),每个通道代表红、绿、蓝的强度。

  1. 模型的定义

指神经网络的架构,包括层数、每层的神经元数量、激活函数等。

定义方式:通过框架(如PyTorch的nn.Module)构建计算图。

  1. 显存占用的4种地方

a. 模型参数 + 梯度参数:存储权重及反向传播时的梯度。

b. 优化器参数:如Adam优化器会保存动量(momentum)等额外变量。

c. 数据批量所占显存:输入数据(batch)的存储空间。

d. 神经元输出中间状态:前向传播时各层的输出(用于反向传播)。

  1. Batch Size 和训练的关系

增大 Batch Size:

提高训练速度(并行计算更高效)。

可能降低模型泛化能力(梯度估计更精确,但易陷入局部最优)。

显存占用增加(需存储更多数据、中间变量)。

减小 Batch Size:

训练更"噪声大"(梯度波动大,可能帮助逃离局部最优)。

显存占用减少,适合小显存设备。

训练速度变慢(数据利用率低)。

平衡点:需根据硬件(显存)和模型效果调整,通常通过实验选择最佳 batch size。


总结:理解数据格式、模型结构、显存分配和 batch size 的影响,能更高效地训练深度学习模型。

相关推荐
a1111111111ss1 小时前
yoloVV11 SPPF篇 | 2024最新AIFI模块改进特征金字塔网络
python·深度学习·目标检测
Lxinccode3 小时前
python(44) : docker构建支持消费rocketmq的客户端
python·docker·rocketmq·importerror·not found·dynamic library·pyrocketmq
绵羊20234 小时前
ImmuCellAI 免疫浸润分析
linux·python
MediaTea5 小时前
Python IDE:Spyder
开发语言·ide·python
B站_计算机毕业设计之家6 小时前
大数据 Python小说数据分析平台 小说网数据爬取分析系统 Django框架 requests爬虫 Echarts图表 17k小说网 (源码)✅
大数据·爬虫·python·机器学习·数据分析·可视化·小说
都是些老物件6 小时前
TensorFlow中的掩码传递
人工智能·python·tensorflow
理想三旬7 小时前
网络爬虫(上)
python
zzywxc7877 小时前
大模型落地实践指南:从技术路径到企业级解决方案
java·人工智能·python·microsoft·golang·prompt
小小测试开发8 小时前
给贾维斯加“手势控制”:从原理到落地,打造多模态交互的本地智能助
人工智能·python·交互
Python×CATIA工业智造8 小时前
Python数据汇总与统计完全指南:从基础到高阶实战
python·pycharm