知识点:
- tensorboard的发展历史和原理
- tensorboard的常见操作
- tensorboard在cifar上的实战:MLP和CNN模型
作业:对resnet18在cifar10上采用微调策略下,用tensorboard监控训练过程。
1 发展历程、原理和常见操作
作用:用于实时监控训练过程、可视化模型结构、分析数据分布、对比实验结果等,将枯燥的训练日志转化为直观的图表和图像
几个经典的功能:
- 保存模型结构图
- 保存训练集和验证集的loss变化曲线,不需要手动打印了
- 保存每一个层结构权重分布
- 保存预测图片的预测信息
原理 :把训练过程中的数据(比如损失、准确率、图片等)先记录到日志文件里,再通过工具把这些日志文件可视化成图表
日志目录自动管理 :避免日志目录重复,确保每次训练的日志独立存储
记录标量数据Scalar :在SCALARS选项卡中查看曲线,支持多run对比
可视化模型结构Graph :在GRAPHS选项卡中查看模型层次结构(卷积层、全连接层等)
可视化图像Image :展示原始图像、数据增强效果、错误预测样本
记录权重和梯度直方图Histogram:查看不同层的参数分布随训练的变化