深度学习——图像分类（CNN）—训练模型

训练模型

• • 1.导入必要的库
  • 2.定义超参数
  • 3.读取训练和测试标签CSV文件
  • 4.确保标签是字符串类型
  • 5.显示两个数据框的前几行以了解它们的结构
  • 6.定义图像处理参数
  • 7.创建图像数据生成器
  • 8.设置目录路径
  • 9.创建训练和验证数据生成器
  • 10.构建模型
  • 11.编译模型
  • 12.训练模型并收集历史
  • 13.绘制损失和准确率曲线
  • 14.保存图表
  • 15.保存模型到本地

1.导入必要的库

pandas as pd: Pandas是一个强大的数据分析和处理库，它提供了数据结构（如DataFrame）和工具，用于数据操作和分析。
tensorflow.keras.preprocessing.image import ImageDataGenerator: ImageDataGenerator是Keras的一部分，它用于图像数据的预处理和增强，例如，随机裁剪、旋转、缩放等。
tensorflow.keras.models import Sequential: Sequential模型是Keras中的一种模型，它允许您顺序地堆叠层。
tensorflow.keras.layers: 包含了Keras中所有的层类型，如Conv2D、MaxPooling2D、Flatten、Dense等。
tensorflow.keras.optimizers: 包含了Keras中所有的优化器类型，如Adam、SGD等。
sklearn.model_selection import train_test_split: train_test_split是Scikit-Learn的一部分，它用于将数据集分割为训练集和测试集。
numpy as np: NumPy是一个用于科学计算的库，它提供了高效的数组处理能力，对于图像处理等任务非常有用。
sklearn.preprocessing import LabelBinarizer: LabelBinarizer是Scikit-Learn的一部分，它用于将类别标签转换为二进制数组。
matplotlib.pyplot as plt: Matplotlib是一个绘图库，pyplot是其中的一个模块，它提供了一个类似于MATLAB的绘图框架。
import pickle: pickle是Python的标准库，它用于序列化Python对象，以便将它们保存到文件或从文件中加载。

import pandas as pd
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from tensorflow.keras.optimizers import Adam
from sklearn.model_selection import train_test_split
import numpy as np
from sklearn.preprocessing import LabelBinarizer
import matplotlib.pyplot as plt
import pickle

2.定义超参数

INIT_LR = 0.01
EPOCHS = 30
BS = 32

3.读取训练和测试标签CSV文件

train_labels.csv和test_labels.csv在资源中。

# 读取训练标签CSV文件
train_labels_filename = 'train_labels.csv'
train_labels_df = pd.read_csv(train_labels_filename)

# 读取测试标签CSV文件
test_labels_filename = 'test_labels.csv'
test_labels_df = pd.read_csv(test_labels_filename)

4.确保标签是字符串类型

train_labels_df['label'] = train_labels_df['label'].astype(str)：

train_labels_df['label']：这是train_labels_df DataFrame中名为label的列。
.astype(str)：这是Pandas中的一个方法，用于将列的数据类型转换为字符串类型。

test_labels_df['label'] = test_labels_df['label'].astype(str)：

test_labels_df['label']：这是test_labels_df DataFrame中名为label的列。
.astype(str)：这是Pandas中的一个方法，用于将列的数据类型转换为字符串类型。

train_labels_df['label'] = train_labels_df['label'].astype(str)
test_labels_df['label'] = test_labels_df['label'].astype(str)

5.显示两个数据框的前几行以了解它们的结构

print(train_labels_df.head())
print(test_labels_df.head())

6.定义图像处理参数

img_width：这是一个变量，用于存储图像的宽度。
img_height：这是一个变量，用于存储图像的高度。
= 150, 150：这行代码将img_width和img_height变量分别设置为150。

img_width, img_height = 150, 150

7.创建图像数据生成器

ImageDataGenerator：这是Keras中的一个类，用于创建一个数据生成器，用于图像数据的增强和预处理。
rescale=1./255：这是一个参数，用于将图像的像素值从0到255的范围转换为0到1的范围，这是常见的图像预处理步骤。
validation_split=0.2：这是一个参数，用于指定训练数据中用于验证的比例。在这里，20%的数据将用于验证，80%的数据将用于训练。
data_gen：这是生成的ImageDataGenerator对象，它将在后续的训练过程中用于生成增强的图像数据。

data_gen = ImageDataGenerator(rescale=1./255, validation_split=0.2)

8.设置目录路径

train和test压缩文件在资源中

# 并且数据集应该存储在环境可访问的路径中
train_dir = 'D:/rgzn/face/DATASET/train'  # 包含子文件夹的父目录
test_dir = 'D:/rgzn/face/DATASET/test'    # 包含子文件夹的父目录

9.创建训练和验证数据生成器

#flow_from_dataframe：这是Keras中的一个方法，用于创建一个数据生成器，它可以从DataFrame中加载图像和标签。
train_data_gen = data_gen.flow_from_dataframe(

#要加载的数据源
dataframe=train_labels_df,
#包含图像文件的目录
directory=train_dir,  
#DataFrame中包含图像路径的列名。
x_col='image',
#DataFrame中包含标签的列名。
y_col='label',
#目标图像的大小
target_size=(img_width, img_height),
#每次迭代中从数据生成器中获取的样本数量。
batch_size=32,
#随机种子，用于确保每次运行时生成相同的数据增强
seed=42,
#数据集的子集，用于训练。
    subset='training',
)
validation_data_gen = data_gen.flow_from_dataframe(
    dataframe=test_labels_df,
    directory=test_dir,  # 包含子文件夹的父目录
    x_col='image',
    y_col='label',
    target_size=(img_width, img_height),
    batch_size=32,
seed=42,
#数据集的子集，用于验证。
    subset='validation',
)

10.构建模型

# 构建模型
model = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
model.add(MaxPooling2D(pool_size=(2, 2)))

# 新增的卷积层
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

# 展平层
model.add(Flatten())

# 全连接层
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))

# 输出层
model.add(Dense(7, activation='softmax'))

11.编译模型

model.compile(loss='categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])

model：这是之前创建和配置的Keras模型。
compile：这是Keras中的一个方法，用于编译模型，指定训练过程中使用的损失函数、优化器和评估指标。
loss='categorical_crossentropy'：这是模型使用的损失函数，适用于多类分类问题。
optimizer='adam'：这是模型使用的优化器，用于调整模型的权重以最小化损失函数。
metrics=['accuracy']：这是模型使用的评估指标，用于评估模型在训练数据上的性能。

12.训练模型并收集历史

history = model.fit(train_data_gen, epochs=EPOCHS, validation_data=validation_data_gen, batch_size=BS)

fit：这是Keras中的一个方法，用于训练模型。
train_data_gen：这是之前创建的训练数据生成器。
epochs=EPOCHS：这是训练过程中重复训练数据的次数。
validation_data=validation_data_gen：这是用于验证模型的数据。
batch_size=BS：这是每次迭代中从数据生成器中获取的样本数量。
history：这是训练过程中记录的性能指标，如损失和准确率。

13.绘制损失和准确率曲线

N = np.arange(0, EPOCHS)
#设置图表的样式
plt.style.use('ggplot')
plt.figure()

plt.plot(N, history.history['loss'], label='train_loss')
plt.plot(N, history.history['val_loss'], label='val_loss')
plt.plot(N, history.history['accuracy'], label='train_acc')
plt.plot(N, history.history['val_accuracy'], label='val_acc')

plt.title("Training Loss And Accuracy (CNN)")
plt.xlabel('Epoch #')
plt.ylabel('Loss/Accuracy')
plt.legend()
plt.axis([0, EPOCHS, 0, 2])

14.保存图表

plt.savefig('plot.png')

15.保存模型到本地

print('[INFO] 正在保存模型')
model.save('model.h5')