模型训练识别手写数字(一)

一、模型训练数据集

1. 导入所需库

python 复制代码
import numpy as np
from sklearn.datasets import fetch_openml

numpy 是用于数值计算的库。

fetch_openml 是用于从 OpenML 下载数据集的函数。

2. 获取 MNIST 数据集

python 复制代码
X, y = fetch_openml('mnist_784', version=1, return_X_y=True)

fetch_openml('mnist_784', version=1, return_X_y=True) 从 OpenML 下载 MNIST 数据集。X 存储图像数据(784 个特征,28x28 像素的扁平化图像),y 存储对应的标签(数字 0 到 9)。

3. 将像素值二值化

python 复制代码
X[X > 0] = 1

这行代码将 X 中所有大于 0 的像素值设置为 1,二值化处理。这样处理后的图像只有两个值:0(黑色)和 1(白色),有助于简化模型的输入。

4. 保存数据集

python 复制代码
np.save("Data/dataset", X)
np.save("Data/class", y)

np.save("Data/dataset", X) 将图像数据保存为 dataset.npy

np.save("Data/class", y) 将标签数据保存为 class.npy

二、模型训练及预测

1. 导入所需库

python 复制代码
import matplotlib.pyplot as plt
import numpy as np
from keras import Sequential
from keras import layers
from keras.api.models import load_model
from sklearn.metrics import f1_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder

matplotlib.pyplot: 用于绘图和数据可视化。

numpy: 用于处理数组和数据加载。

keras: 用于构建和训练深度学习模型。

sklearn: 提供数据划分和预处理的工具。

f1_score: 用于评估模型性能。

2. 加载数据

python 复制代码
X = np.load("Data/dataset.npy", allow_pickle=True)
y = np.load("Data/class.npy", allow_pickle=True)

使用 numpyload 方法加载训练数据 (X) 和标签 (y)。allow_pickle=True 允许加载包含对象的数组。

3. One-Hot 编码

python 复制代码
onehot = OneHotEncoder(sparse_output=False)
y = onehot.fit_transform(y.reshape(-1, 1))

OneHotEncoder: 将标签转换为独热编码格式,方便用于分类任务。每个标签会被转换为一个二进制数组。

4. 划分训练集和测试集

python 复制代码
x_train, x_test, y_train, y_test = train_test_split(X, y, random_state=14)

使用 train_test_split 将数据集分为训练集和测试集,通常使用 70%-80% 的数据用于训练,其余用于测试。

5. 构建模型

python 复制代码
model = Sequential()
model.add(layers.Dense(100, activation='relu', input_shape=(x_train.shape[1],)))
model.add(layers.Dense(y.shape[1], activation='softmax'))  

Sequential: 表示模型是线性的,按顺序堆叠各个层。

Dense: 添加全连接层,第一层有 100 个神经元,使用 ReLU 激活函数;第二层为输出层,使用 Softmax 激活函数,适合多类分类任务。

6. 编译模型

python 复制代码
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

使用 Adam 优化器,损失函数为交叉熵(适合多分类),并监控准确率。

7. 训练模型

python 复制代码
model.fit(x_train, y_train, epochs=100, batch_size=32, verbose=1)

训练模型 100 个周期,批量大小为 32,verbose=1 表示输出训练过程的信息。

8. 评估模型

python 复制代码
predictions = model.predict(x_test)
predictions_classes = np.argmax(predictions, axis=1)
y_test_classes = np.argmax(y_test, axis=1)

print("F-score: {0:.2f}".format(f1_score(y_test_classes, predictions_classes, average='micro')))

使用测试集进行预测,并计算 F-score 作为评估指标。np.argmax 用于获取每个样本预测概率最高的类。

9. 保存模型

python 复制代码
model.save("my_model.h5")

将训练好的模型保存到文件 my_model.h5 中,以便后续加载和使用。

10. 加载模型

python 复制代码
loaded_model = load_model("my_model.h5")

加载之前保存的模型,以便进行预测。

11. 进行预测

python 复制代码
predictions = loaded_model.predict(x_test)

使用加载的模型对测试集进行预测,获取每个样本的预测结果。

12. 获取预测和真实标签

python 复制代码
y_pred_classes = np.argmax(predictions, axis=1)
y_test_classes = np.argmax(y_test, axis=1)

使用 np.argmax 从预测结果和真实标签中获取每个样本的类别索引。

13. 可视化预测结果

python 复制代码
plt.figure(figsize=(12, 6))

for i in range(20):
    plt.subplot(4, 5, i + 1)
    plt.imshow(x_test[i].reshape(28, 28), cmap='gray')  # 假设输入是28x28的图像
    plt.title(f'True: {y_test_classes[i]}\nPred: {y_pred_classes[i]}')
    plt.axis('off')

plt.tight_layout()
plt.show()

创建一个图形窗口,设置大小为 12x6。

使用 subplot 在 4 行 5 列的网格中绘制 20 个图像。

每个子图中显示测试样本的图像、真实标签和预测标签。

imshow 将图像进行灰度显示,axis('off') 隐藏坐标轴。

tight_layout() 调整子图参数,以避免重叠。

show() 显示图形。

相关推荐
超龄超能程序猿32 分钟前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉
要努力啊啊啊33 分钟前
YOLOv3-SPP Auto-Anchor 聚类调试指南!
人工智能·深度学习·yolo·目标检测·目标跟踪·数据挖掘
好开心啊没烦恼36 分钟前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
生态遥感监测笔记42 分钟前
GEE利用已有土地利用数据选取样本点并进行分类
人工智能·算法·机器学习·分类·数据挖掘
天天扭码1 小时前
从图片到语音:我是如何用两大模型API打造沉浸式英语学习工具的
前端·人工智能·github
张彦峰ZYF2 小时前
从检索到生成:RAG 如何重构大模型的知识边界?
人工智能·ai·aigc
刘海东刘海东2 小时前
结构型智能科技的关键可行性——信息型智能向结构型智能的转变(修改提纲)
人工智能·算法·机器学习
**梯度已爆炸**2 小时前
NLP文本预处理
人工智能·深度学习·nlp
uncle_ll2 小时前
李宏毅NLP-8-语音模型
人工智能·自然语言处理·语音识别·语音模型·lm
Liudef062 小时前
FLUX.1-Kontext 高效训练 LoRA:释放大语言模型定制化潜能的完整指南
人工智能·语言模型·自然语言处理·ai作画·aigc