T7：咖啡豆识别

🍨 本文为🔗365天深度学习训练营中的学习记录博客

🍖 原作者：K同学啊

时间：9月4日-9月x日

🍺 要求：

自己搭建VGG-16网络框架 ✅
调用官方的VGG-16网络框架 ✅

🍻 拔高（可选）：

验证集准确率达到100% ❌
使用PPT画出VGG-16算法框架图（发论文需要这项技能）❌

🔎 探索（难度有点大）

在不影响准确率的前提下轻量化模型❌

VGG16总参数量是134,276,942

由于本人没GPU算力了，所以代码跑贼慢，结果后补

⛽ 我的环境

语言环境：Python3.10.12
编译器：Google Colab
深度学习环境：
- TensorFlow2.17.0

⛽ 参考学习博客汇总（暂时）：

ResNet、VGGNet和AlexNet创新点及优缺点

一、前期工作

1.设置GPU,导入库

python 复制代码

#os提供了一些与操作系统交互的功能，比如文件和目录操作
import os
#提供图像处理的功能，包括打开和显示、保存、裁剪等
import PIL
from PIL import Image
#pathlib提供了一个面向对象的接口来处理文件系统路径。路径被表示为Path对象，可以调用方法来进行各种文件和目录操作。
import pathlib

#用于绘制图形和可视化数据
import tensorflow as tf
import matplotlib.pyplot as plt
#用于数值计算的库，提供支持多维数组和矩阵运算
import numpy as np
#keras作为高层神经网络API，已被集成进tensorflow，使得训练更方便简单
from tensorflow import keras
#layers提供了神经网络的基本构建块，比如全连接层、卷积层、池化层等
#提供了构建和训练神经网络模型的功能，包括顺序模型（Sequential）和函数式模型（Functional API）
from tensorflow.keras import layers, models
#导入两个重要的回调函数：前者用于训练期间保存模型最佳版本；后者监测到模型性能不再提升时提前停止训练，避免过拟合
from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping

python 复制代码

tf.__version__

复制代码

'2.17.0'

由于本人没有GPU了，该部分跳过↓

python 复制代码

# 获取所有可用的GPU设备列表，储存在变量gpus中
gpus = tf.config.list_physical_devices("GPU")

# 如果有GPU,即列表不为空
if gpus:
  # 获取第一个 GPU 设备
  gpu0 = gpus[0]
  # 设置 GPU 内存增长策略。开启这个选项可以让tf按需分配gpu内存，而不是一次性分配所有可用内存。
  tf.config.experimental.set_memory_growth(gpu0, True)
  #设置tf只使用指定的gpu(gpu[0])
  tf.config.set_visible_devices([gpu0],"GPU")

gpus

2.导入数据

python 复制代码

from google.colab import drive
drive.mount("/content/drive/")
%cd "/content/drive/MyDrive/Colab Notebooks/jupyter notebook/data"

复制代码

Mounted at /content/drive/
/content/drive/MyDrive/Colab Notebooks/jupyter notebook/data

python 复制代码

data_dir = "./7"
data_dir = pathlib.Path(data_dir)

3.查看数据

python 复制代码

# 使用glob方法获取当前目录的子目录里所有以'.png'为结尾的文件
# '*/*.jpg' 是一個通配符模式
# 第一个星号表示当前目录
# 第二个星号表示子目录
image_count = len (list(data_dir.glob("*/*.png")))

print("图片总数：", image_count)

复制代码

图片总数： 1200

python 复制代码

ex = list(data_dir.glob("Green/*.png"))
image=PIL.Image.open(str(ex[8]))
#查看图像属性
print(image.format, image.size,image.mode)
plt.axis("off")
plt.imshow(image)
plt.show()

复制代码

PNG (224, 224) RGB

二、数据预处理

1.加载数据

python 复制代码

#设置批量大小，即每次训练模型时输入图像数量
#每次训练迭代时，模型需处理32张图像
batch_size = 32
#图像的高度，加载图像数据时，将所有的图像调整为相同的高度
img_height = 224
#图像的宽度，加载图像数据时，将所有的图像调整为相同的宽度
img_width = 224

python 复制代码

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
tr_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    #指定数据集中分割出多少比例数据当作验证集，0.1表示10%数据会被用来当验证集
    subset="training",
    #指定是用于训练还是验证的数据子集，这里设定为training
    seed=123,
    #用于设置随机数种子，以确保数据集划分的可重复性和一致性
    image_size=(img_height, img_width),
    batch_size=batch_size)

复制代码

Found 1200 files belonging to 4 classes.
Using 960 files for training.

python 复制代码

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split = 0.2,
    subset = "validation",
    seed = 123,
    image_size=(img_height,img_width),
    batch_size=batch_size
)

复制代码

Found 1200 files belonging to 4 classes.
Using 240 files for validation.

python 复制代码

class_names = tr_ds.class_names
# 可以通过class_names输出数据集的标签。标签将按字母顺序对应于目录名称
class_names

复制代码

['Dark', 'Green', 'Light', 'Medium']

python 复制代码

# #数据增强---参考博客：https://blog.csdn.net/afive54/article/details/135004174

# def augment_images(image, label):
#     image = tf.image.random_flip_up_down(image)  # 随机水平翻转
#     image = tf.image.random_flip_left_right(image)
#     image = tf.image.random_contrast(image, lower=0.1, upper=1.2)  # 随机对比度
#     image = tf.image.random_brightness(image, max_delta=0.2)  # 随机亮度
#     image = tf.image.random_saturation(image, lower=0.1, upper=1.2)  # 随机饱和度
#     #noise = tf.random.normal(tf.shape(image), mean=0.0, stddev=0.1)
#     #image = tf.clip_by_value(image, 0.0, 0.5)  # 添加高斯噪声并将像素值限制在0到1之间
#     return image, label
# # 对训练集数据进行增强
# augmented_tr_ds = tr_ds.map(augment_images)

2.可视化数据

python 复制代码

plt.figure(figsize=(10, 4))  # 图形的宽为10高为5

for images, labels in tr_ds.take(1):
  for i in range(10):
    ax = plt.subplot(2, 5, i + 1)
    plt.imshow(images[i].numpy().astype("uint8"))
    plt.title(class_names[labels[i]])
    plt.axis("off")

python 复制代码

for image_batch, labels_batch in tr_ds:
  print(image_batch.shape)
  print(labels_batch.shape)
  break

#`(32, 224, 224, 3)`--最后一维指的是彩色通道RGB
#`label_batch`是形状（32，）的张量

复制代码

(32, 224, 224, 3)
(32,)

3.配置数据集

python 复制代码

#自动调整数据管道性能
AUTOTUNE = tf.data.AUTOTUNE
# 使用 tf.data.AUTOTUNE 具体的好处包括：
#自动调整并行度：自动决定并行处理数据的最佳线程数，以最大化数据吞吐量。
#减少等待时间：通过优化数据加载和预处理，减少模型训练时等待数据的时间。
#提升性能：自动优化数据管道的各个环节，使整个训练过程更高效。
#简化代码：不需要手动调整参数，代码更简洁且易于维护。

#使用cache()方法将训练集缓存到内存中，这样加快数据加载速度
#当多次迭代训练数据时，可以重复使用已经加载到内存的数据而不必重新从磁盘加载
#使用shuffle()对训练数据集进行洗牌操作，打乱数据集中的样本顺序
#参数1000指缓冲区大小，即每次从数据集中随机选择的样本数量
#prefetch()预取数据，节约在训练过程中数据加载时间


tr_ds = tr_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds  = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

python 复制代码

normalization_layer = layers.Rescaling(1./255)

tr_ds = tr_ds.map(lambda x, y: (normalization_layer(x), y))
val_ds  = val_ds.map(lambda x, y: (normalization_layer(x), y))

python 复制代码

image_batch, labels_batch = next(iter(val_ds))
first_image = image_batch[0]

# 查看归一化后的数据,将每张图片的像素归一至0-1间的数值
print(np.min(first_image), np.max(first_image))

复制代码

0.0 1.0

T7：咖啡豆识别

T7：咖啡豆识别

一、前期工作

1.设置GPU,导入库

2.导入数据

3.查看数据

二、数据预处理

1.加载数据

2.可视化数据

3.配置数据集

三、构建CNN网络模型