TensorFlow_T10 数据增强

import tensorflow as tf
 
gpus = tf.config.list_physical_devices("GPU")
 
if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")
 
# 打印显卡信息，确认GPU可用
print(gpus)

2、导入数据

python 复制代码

import matplotlib.pyplot as plt
 
#隐藏警告
import warnings
warnings.filterwarnings('ignore')
 
from tensorflow.keras import layers
import tensorflow as tf
 
data_dir   = "../data"
img_height = 224
img_width  = 224
batch_size = 32

3、加载数据

使用**image_dataset_from_directory** 方法将磁盘中的数据加载到**tf.data.Dataset**中

python 复制代码

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)
 
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="validation",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

运行结果如下：

在原始数据集中，不包含测试集。因此需要使用 tf.data.experimental.cardinality来确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

python 复制代码

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)
 
print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))

运行结果如下：

接着，我们可以通过class_names输出数据集的标签。标签将按字母顺序对应于目录名称：

python 复制代码

class_names = train_ds.class_names
print(class_names)

运行结果如下：

4、配置数据集

shuffle() ：打乱数据
prefetch() ：预取数据，加速运行
cache() ：将数据集缓存到内存当中，加速运行

python 复制代码

AUTOTUNE = tf.data.AUTOTUNE
 
def preprocess_image(image,label):
    return (image/255.0,label)
 
# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
 
train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

5、数据可视化

python 复制代码

plt.figure(figsize=(15, 10))  # 图形的宽为15高为10
 
for images, labels in train_ds.take(1):
    for i in range(8):
        ax = plt.subplot(5, 8, i + 1)
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])
 
        plt.axis("off")
    plt.show()

运行结果如下：

三、数据增强

我们可以使用框架中的API: tf.keras.layers.experimental.preprocessing.RandomFlip 与 tf.keras.layers.experimental.preprocessing.RandomRotation 进行数据增强。

tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像；

tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像；

python 复制代码

data_augmentation = tf.keras.Sequential([
  tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),
  tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

其中，第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。

接着，通过：

python 复制代码

# Add the image to a batch.
image = tf.expand_dims(images[i], 0)
 
plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = data_augmentation(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0])
    plt.axis("off")
plt.show()

可视化数据增强效果如下：

四、增强方式

1、将其嵌入model中

python 复制代码

model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
])

2、在Dataset数据集中进行数据增强

python 复制代码

batch_size = 32
AUTOTUNE = tf.data.AUTOTUNE
 
def prepare(ds):
    ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
    return ds
 
train_ds = prepare(train_ds)

五、编译模型

python 复制代码

model = tf.keras.Sequential([
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

在准备进行训练之前，需要再对模型进行一些设置，以下内容是在模型的编译步骤中添加的：

损失函数（loss）：用于衡量模型在训练期间的准确率；

优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新；

评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率；

可通过以下代码实现：

python 复制代码

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

六、训练模型

python 复制代码

epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

运行结果如下：

python 复制代码

loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

测试准确率为：

七、自定义增强方式

python 复制代码

import random
 
def aug_img(image):
    seed = (random.randint(0,9), 0)
    # 随机改变图像对比度
    stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
    return stateless_random_brightness

python 复制代码

image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

运行结果如下：

python 复制代码

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = aug_img(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0].numpy().astype("uint8"))
 
    plt.axis("off")

运行结果如下：

👏觉得文章对自己有用的宝子可以收藏文章并给小编点个赞！

👏想了解更多统计学、数据分析、数据开发、机器学习算法、深度学习等有关知识的宝子们，可以关注小编，希望以后我们一起成长！