深度学习复盘与论文复现D

文章目录

• 一、新环境搭建与适应
• • 1、easy_install和pip的安装使用
  • 2、关于安装包超时的解决方案
  • 3、brew安装包安装
  • 4、使用新环境运行以前项目
  • 5、解决win的pycharm修改内存后无法启动
• [二、Dataset 数据读取问题](#二、Dataset 数据读取问题)
• • [1、Lightning Torch 读取数据](#1、Lightning Torch 读取数据)
  • 2、Pytorch的DataLoader数据读取机制
  • 3、Pytorch的Dataset数据读取机制
  • 4、Torch数据读取补充
• 三、林学长的小项目运行
• • [1、module 'numpy.typing' has no attribute 'NDArray'](#1、module 'numpy.typing' has no attribute 'NDArray')
  • [2、关于torch 和cuda 不匹配问题](#2、关于torch 和cuda 不匹配问题)
  • [3、ValueError: too many values to unpack](#3、ValueError: too many values to unpack)
  • [4、彩蛋 计算机期刊指标汇总](#4、彩蛋 计算机期刊指标汇总)

一、新环境搭建与适应

1、easy_install和pip的安装使用

mac zsh: command not found: pip解决方法

1️⃣首先运行如下指令

curl https://bootstrap.pypa.io/pip/get-pip.py -o get-pip.py

/Users/zhihongli/Library/Python/3.9/bin

2️⃣根据警告信息替换如下（实际是修改环境变量目录过程）

echo 'exportPATH=/Users/zhihongli/Library/Python/3.9/bin:$PATH' >>~/.bashrc

3️⃣最后执行以下命令进行保存

source ~/.bashrc

---

2、关于安装包超时的解决方案

pip --default-timeout=100 install -U 包名

• 简单粗暴，直接安装Numpy、Pandas，亲测高效（终极方法）

3、brew安装包安装

1️⃣执行如下关键命令

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

https://github.com/Homebrew/brew/releases/tag/4.1.4

https://mirrors.tuna.tsinghua.edu.cn/help/homebrew/

2️⃣终于安装成功

4、使用新环境运行以前项目

5、解决win的pycharm修改内存后无法启动

• 在pycharm中改了最大堆大小以后打不开。当初修改的是破解工具的.vmoptions文件，用破解工具把它重新覆盖到合适的地方。

①在此电脑右键属性--> 打开控制面板

②选择高级系统设置中的环境变量

二、Dataset 数据读取问题

1、Lightning Torch 读取数据

• 参考官方链接🔗如下

https://pytorch.org/docs/stable/data.html

https://lightning.ai/docs/pytorch/stable/data/datamodule.html

https://pytorch.ac.cn/tutorials/beginner/basics/data_tutorial.html

2、Pytorch的DataLoader数据读取机制

数据模块中，DataLoader和DataSet就是数据读取子模块中的核心机制。数据读取主要包含以下 3 个方面：

• 读取哪些数据：每个 Iteration 读取一个 Batchsize 大小的数据，每个 Iteration 应该读取哪些数据。
• 从哪里读取数据：如何找到硬盘中的数据，应该在哪里设置文件路径参数
• 如何读取数据：不同的文件需要使用不同的读取方法和库

• DataLoader的用于构建数据装载器， 根据batch_size的大小， 将数据样本分成若干batch去训练模型，而数据分配的过程需要读取数据，这个过程就是借助Dataset的getitem方法实现的。

• 也就是说要使用Pytorch读取数据，首先应该新建一个类MyDataset，这个类要继承Dataset类并且实现里面的getitem__方法，该方法用于定义如何接收一个索引idx， 返回一个样本对应的data和label。 此外还需要实现__len，该方法用于计算样本数据，__len__返回总的样本的个数。

一. torch.utils.data.Dataset

• 是一个抽象类, 自定义的Dataset需要继承它并且实现两个成员方法:

 def __getitem__(self, index):
        img_path, label = self.data[index].img_path, self.data[index].label
        img = Image.open(img_path)

        return img, label

def __len__(self):
        return len(self.data)

由于DataLoader是一个可迭代对象，当构建完成后可以简要查看读取的数据，以验证数据格式。

• 功能 ：构建可迭代的数据装载器。训练的过程中，每一次iteration从DataLoader中获取一个batch_size大小的数据。

Epoch、Iteration、Batchsize之间的关系:

1:所有的样本数据都输入到模型中，称为一个epoch

2:一个Batch的样本输入到模型中，称为一个Iteration

3:一个批次的大小，一个Epoch=Batchsize*Iteration

3、Pytorch的Dataset数据读取机制

功能：用来定义数据从哪里读取以及如何读取。Dataset抽象类，所有自定义的Dataset需要继承它，并且复写

---

4、Torch数据读取补充

---

再推荐阅读这些文章

• pytorch使用DataLoader对数据集进行批处理简单示例

https://www.cnblogs.com/JeasonIsCoding/p/10168753.html

• dataloader使用教程

https://www.jianshu.com/p/8ea7fba72673

• pytorch数据读取

https://zhuanlan.zhihu.com/p/30934236

三、林学长的小项目运行

项目接手时间：24.7.13

1、module 'numpy.typing' has no attribute 'NDArray'

• 估计是numpy 的版本问题
• 还有就是numpy和pandas版本不对应
  

pip install numpy==1.21 -i https://pypi.tuna.tsinghua.edu.cn/simple

2、关于torch 和cuda 不匹配问题

pip install torch==2.3.1

import torch
print(torch.__version__)
print(torch.cuda.is_available())

再者查看cuda是否可以用

可用安装镜像解决下载慢问题

3、ValueError: too many values to unpack

 for idx, (X, Y) in tqdm(enumerate(dataloader)):

修改为

 for idx, sample in tqdm(enumerate(dataloader)):
            X, Y = sample['X'].cuda, sample['Y'].cuda()

pip  install  tqdm==4.62.3

4、彩蛋 计算机期刊指标汇总

• 跳转链接🔗

https://docs.qq.com/sheet/DR3VCaHFYUXVjTFJN?tab=BB08J2