python3+TensorFlow 2.x(六)自编码器

自动编码器

自动编码器(Autoencoder)是一种无监督学习算法,主要用于数据降维、特征学习和数据生成等任务。它由编码器和解码器组成,目标是将输入数据压缩为低维表示(编码),然后再从这个低维表示重构原始数据。自动编码器被广泛应用于图像去噪、特征提取和生成模型等场景。

实现

MNIST 数据集重构

python 复制代码
import tensorflow as tf
from tensorflow.keras import layers, models
import matplotlib.pyplot as plt

# 加载 MNIST 数据集
(train_images, _), (test_images, _) = tf.keras.datasets.mnist.load_data()

# 归一化数据,将像素值缩放到 [0, 1]
train_images = train_images / 255.0
test_images = test_images / 255.0

# 将数据的形状调整为 (batch_size, 28, 28, 1),因为 CNN 等网络需要 4D 输入
train_images = train_images.reshape((train_images.shape[0], 28, 28, 1))
test_images = test_images.reshape((test_images.shape[0], 28, 28, 1))

# 使用 tf.data.Dataset 将数据分成批次
train_dataset = tf.data.Dataset.from_tensor_slices(train_images).batch(64)

# 构建自动编码器
def build_autoencoder():
    # 编码器
    encoder_input = layers.Input(shape=(28, 28, 1))

    # 编码层:使用卷积层和池化层提取特征
    x = layers.Conv2D(32, (3, 3), activation='relu', padding='same')(encoder_input)
    x = layers.MaxPooling2D((2, 2), padding='same')(x)
    x = layers.Conv2D(64, (3, 3), activation='relu', padding='same')(x)
    encoded = layers.MaxPooling2D((2, 2), padding='same')(x)

    # 解码器
    x = layers.Conv2D(64, (3, 3), activation='relu', padding='same')(encoded)
    x = layers.UpSampling2D((2, 2))(x)
    x = layers.Conv2D(32, (3, 3), activation='relu', padding='same')(x)
    x = layers.UpSampling2D((2, 2))(x)
    decoded = layers.Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x)

    # 自动编码器模型
    autoencoder = models.Model(encoder_input, decoded)
    return autoencoder

# 构建自动编码器模型
autoencoder = build_autoencoder()

# 编译模型
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')

# 训练模型
autoencoder.fit(train_images, train_images, epochs=10, batch_size=64, validation_data=(test_images, test_images))

# 使用训练好的模型对测试集进行预测
decoded_images = autoencoder.predict(test_images)

# 显示原始图像和重建图像
n = 10  # 展示 10 张图像
plt.figure(figsize=(20, 4))
for i in range(n):
    # 显示原始图像
    ax = plt.subplot(2, n, i + 1)
    plt.imshow(test_images[i].reshape(28, 28), cmap='gray')
    plt.axis('off')

    # 显示重建图像
    ax = plt.subplot(2, n, i + 1 + n)
    plt.imshow(decoded_images[i].reshape(28, 28), cmap='gray')
    plt.axis('off')

plt.show()

代码解释

加载和预处理数据

MNIST 数据集包含了 60,000 张训练图像和 10,000 张测试图像,每张图像的大小是 28x28 像素,并且所有的图像是灰度图。将图像像素值归一化到 0, 1 范围,并将数据形状调整为 (28, 28, 1),因为自动编码器需要图像数据作为输入。

构建自动编码器模型

自动编码器的结构由两个主要部分组成:编码器和解码器。编码器将输入数据映射到一个低维空间(潜在空间)。解码器将潜在空间的表示恢复回原始数据空间。本例中使用CNN编码器将图像通过一系列卷积层和池化层进行降维。然后,解码器通过反卷积(转置卷积)将潜在空间的表示恢复为原始的图像。

编译和训练模型

在训练模型时,使用二元交叉熵作为损失函数,因为是进行图像的重建 (像素级重建) 优化器使用 Adam 优化器,它通常在很多深度学习任务中表现良好。

评估与可视化结果

使用训练好的模型对测试集进行预测,并将原始图像和重建图像进行对比,帮助可视化自动编码器的效果。

总结

自动编码器是一种无监督学习模型,可以用于特征提取、降维和图像生成等任务。实例中使用了卷积神经网络(CNN)来构建一个简单的自动编码器,并应用于 MNIST 数据集进行训练。通过这段代码,了解如何使用 TensorFlow 2.x 实现自动编码器,训练并评估模型的性能。

相关推荐
VIP_CQCRE2 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk5553 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷3 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我3 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁013 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit3 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn4 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄5 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks5 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
锋行天下5 小时前
langgraph 全栈项目(三)
前端·人工智能·后端