9.24 深度学习6

1. 数据处理工作箱概述

工作箱主要包括数据处理与加载模块、TensorBoard可视化工具,以及计算机视觉相关的transforms和模型等。

2. Dataset与DataLoader详解

Dataset:其主要函数包括__len__(提供数据大小)和__getitem__(给定索引获取数据)。核心要点是将Numpy的ndarray数据类型转换为PyTorch的Tensor格式,以便利用GPU加速计算。

DataLoader:用于数据集的加载与迭代,支持批量处理和数据打乱。

3. Computer Vision (vision) 工具箱功能

Model:封装了如AlexNet、ResNet等经典预训练模型。

Dataset:集成多种开源数据集,如CIFAR-10、MNIST等。

Transforms:提供丰富的数据预处理变换,包括按比例缩放(scale)、裁剪、填充(padding)以及随机翻转、亮度/对比度/饱和度调整等功能。

4. PyTorch数据处理 pipeline

Transform用于对Pillow Image对象或模型对象进行操作,而Compose则将多个Transform串联,形成数据处理流水线。

PIL Image的常见操作:在不改变长宽比情况下,调整尺寸、剪裁图像、填充、图像水平垂直翻转、修改亮度、对比度、饱和度。

对Tensor的常见操作:标准化。

数据增强流程:演示了使用Compose对图像进行裁剪(CenterCrop)、随机水平翻转(HorizontalFlip)、转换为Tensor并标准化(Normalize)的完整数据增强流程。

处理多目录数据:展示了如何借助Dataset规范地处理位于同一父目录下不同子文件夹(image_folder)的图像数据。

5. TensorBoard可视化工具

功能作用:

可视化网络结构:提供图形化界面,清晰展示用户自定义神经网络的计算图结构。

追踪指标变化:用于可视化监控训练过程中损失(Loss)、准确率、召回率等关键评估指标的变化趋势,便于分析模型表现。

可视化特征图:可以观察模型在各层对输入数据的处理结果和特征提取情况。

基本使用流程:

程序端:导入tensorboard库,实例化SummaryWriter,并根据不同需记录的内容(如标量、图像等)调用add_xxx()方法写入数据;最后确保关闭writer以释放资源。

客户端:切换至日志文件的存储目录,在终端执行tensorboard --logdir=路径命令启动服务,即可在浏览器访问localhost:6006查看实时展示的可视化图表。

相关推荐
侠客工坊6 分钟前
移动端 RPA 的架构重构:基于侠客工坊多模态视觉大模型的自动化调度系统压测复盘
人工智能·智能手机·重构·架构·rpa·数字员工·侠客工坊
胖墩会武术9 分钟前
Obsidian 与 Obsidian Skills 小白入门
人工智能·ai·obsidian·obsidian skills
河北小博博9 分钟前
李宏毅Harness Engineering课程逐字稿整理:有时候模型不是不够聪明,只是没有好的Harness
人工智能
Elastic 中国社区官方博客10 分钟前
Elastic-caveman : 在不损失 Elastic 最佳效果的情况下,将 AI 响应 tokens 减少64%
大数据·运维·数据库·人工智能·elasticsearch·搜索引擎·全文检索
云天AI实战派31 分钟前
Agentic AI 全流程实战:用 OpenAI on AWS 搭一个餐饮补货智能体,从 API 调用到容器化上线
人工智能·云计算·aws
万岳科技程序员小金40 分钟前
2026智慧药店系统源码趋势:药店APP+小程序开发新方向
人工智能·电子处方小程序·药店软件开发·药店系统源码·药店app开发·药店平台搭建·药店小程序
xingyuzhisuan1 小时前
稳定性考验:连续跑7天,哪家云主机不重启、不掉线?
服务器·人工智能·gpu算力
sanshanjianke1 小时前
AI辅助网文创作理论研究笔记(十):软件框架设计——模块化B/S架构
人工智能·ai写作
云天AI实战派1 小时前
AI 智能体问题排查指南:ChatGPT、API 调用到 Agent 上线失灵的全流程修复手册
大数据·人工智能·python·chatgpt·aigc
Tutankaaa2 小时前
知识竞赛题库设计全攻略
人工智能·算法