TensorFlow案例学习:图片风格迁移

准备

官方教程: 任意风格的快速风格转换

模型下载地址: https://tfhub.dev/google/magenta/arbitrary-image-stylization-v1-256/2

学习

加载要处理的内容图片和风格图片

python 复制代码
# 用于将图像裁剪为方形


def crop_center(image):
    # 图片原始形状
    shape = image.shape
    # 新形状
    new_shape = min(shape[1], shape[2])
    offset_y = max(shape[1]-shape[2], 0) // 2
    offset_x = max(shape[2]-shape[1], 0) // 2
    # 返回新图片
    image = tf.image.crop_to_bounding_box(
        image, offset_y, offset_x, new_shape, new_shape)
    return image

# 加载并预处理图片


def load_image(image_url, image_size=(256, 256), preserve_aspect_ratio=True):
    # 缓存图像文件
    image_path = tf.keras.utils.get_file(
        os.path.basename(image_url)[-128:], image_url)
    # 加载并转换为float32 numpy数组,添加批次维度,并规范化为范围[0,1]。
    img = tf.io.decode_image(
        tf.io.read_file(image_path),
        channels=3, dtype=tf.float32)[tf.newaxis, ...]
    img = crop_center(img)
    img = tf.image.resize(img, image_size, preserve_aspect_ratio=True)
    return img

# 展示图片


def show_n(images, titles=('',)):
    n = len(images)
    image_sizes = [image.shape[1] for image in images]
    w = (image_sizes[0] * 6) // 320
    plt.figure(figsize=(w * n, w))
    gs = gridspec.GridSpec(1, n, width_ratios=image_sizes)
    for i in range(n):
        plt.subplot(gs[i])
        plt.imshow(images[i][0], aspect='equal')
        plt.axis('off')
        plt.title(titles[i] if len(titles) > i else '')
    plt.show()


content_image_url = 'https://scpic3.chinaz.net/files/default/imgs/2023-11-16/6e397d19e172be9f_s.jpg'
style_image_url = 'https://scpic3.chinaz.net/files/default/imgs/2023-11-05/d217bbaf821e3a73_s.jpg'
output_image_size = 384

# 调整内容图像的大小
content_img_size = (output_image_size, output_image_size)
#  样式图片大小
style_img_size = (256, 256)
# 加载并展示图片
content_image = load_image(content_image_url, content_img_size)
style_image = load_image(style_image_url, style_img_size)
style_image = tf.nn.avg_pool(
    style_image, ksize=[3, 3], strides=[1, 1], padding='SAME')
show_n([content_image, style_image], ['Content image', 'Style image'])

加载模型进行风格迁移

python 复制代码
# 加载模型
hub_module = hub.load('./magenta_arbitrary-image-stylization-v1-256_2')
# 风格迁移
outputs = hub_module(tf.constant(content_image), tf.constant(style_image))
stylized_image = outputs[0]
# 展示迁移后的图片
show_n([content_image, style_image, stylized_image], titles=[
       'Original content image', 'Style image', 'Stylized image'])

加载本地图片

加载本地图片的话,只需要将加载网络图片的代码改成下面的

python 复制代码
def load_image(image_url, image_size=(256, 256), preserve_aspect_ratio=True):
    # 缓存图像文件
    # image_path = tf.keras.utils.get_file(
    #     os.path.basename(image_url)[-128:], image_url)
    # 加载并转换为float32 numpy数组,添加批次维度,并规范化为范围[0,1]。
    img = tf.io.decode_image(
        tf.io.read_file(image_url),
        channels=3, dtype=tf.float32)[tf.newaxis, ...]
    img = crop_center(img)
    img = tf.image.resize(img, image_size, preserve_aspect_ratio=True)
    return img

下面的效果图是基于一只狗和梵高的星空生成的

完整代码

python 复制代码
# import os
from matplotlib import gridspec
import matplotlib.pylab as plt
import numpy as np
import tensorflow as tf
import tensorflow_hub as hub

# 用于将图像裁剪为方形


def crop_center(image):
    # 图片原始形状
    shape = image.shape
    # 新形状
    new_shape = min(shape[1], shape[2])
    offset_y = max(shape[1]-shape[2], 0) // 2
    offset_x = max(shape[2]-shape[1], 0) // 2
    # 返回新图片
    image = tf.image.crop_to_bounding_box(
        image, offset_y, offset_x, new_shape, new_shape)
    return image

# 加载并预处理图片


def load_image(image_url, image_size=(256, 256), preserve_aspect_ratio=True):
    # 缓存图像文件
    # image_path = tf.keras.utils.get_file(
    #     os.path.basename(image_url)[-128:], image_url)
    # 加载并转换为float32 numpy数组,添加批次维度,并规范化为范围[0,1]。
    img = tf.io.decode_image(
        tf.io.read_file(image_url),
        channels=3, dtype=tf.float32)[tf.newaxis, ...]
    img = crop_center(img)
    img = tf.image.resize(img, image_size, preserve_aspect_ratio=True)
    return img

# 展示图片


def show_n(images, titles=('',)):
    n = len(images)
    image_sizes = [image.shape[1] for image in images]
    w = (image_sizes[0] * 6) // 320
    plt.figure(figsize=(w * n, w))
    gs = gridspec.GridSpec(1, n, width_ratios=image_sizes)
    for i in range(n):
        plt.subplot(gs[i])
        plt.imshow(images[i][0], aspect='equal')
        plt.axis('off')
        plt.title(titles[i] if len(titles) > i else '')
    plt.show()


content_image_url = 'image/dog.png'
style_image_url = 'image/fangao.png'
output_image_size = 384

# 调整内容图像的大小
content_img_size = (output_image_size, output_image_size)
#  样式图片大小
style_img_size = (256, 256)
# 加载图片
content_image = load_image(content_image_url, content_img_size)
style_image = load_image(style_image_url, style_img_size)
style_image = tf.nn.avg_pool(
    style_image, ksize=[3, 3], strides=[1, 1], padding='SAME')
# 展示图片
# show_n([content_image, style_image], ['Content image', 'Style image'])


# 加载模型
hub_module = hub.load('./magenta_arbitrary-image-stylization-v1-256_2')
# 风格迁移
outputs = hub_module(tf.constant(content_image), tf.constant(style_image))
stylized_image = outputs[0]
# 展示迁移后的图片
show_n([content_image, style_image, stylized_image], titles=[
       'Original content image', 'Style image', 'Stylized image'])
相关推荐
暴龙胡乱写博客2 分钟前
OpenCV---图像预处理(四)
人工智能·opencv·计算机视觉
程序员辣条10 分钟前
深度测评 RAG 应用评估框架:指标最全面的 RAGas
人工智能·程序员
curdcv_po11 分钟前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae
程序员辣条12 分钟前
为什么需要提示词工程?什么是提示词工程(prompt engineering)?为什么需要提示词工程?收藏我这一篇就够了!
人工智能·程序员·产品经理
孔令飞16 分钟前
Go:终于有了处理未定义字段的实用方案
人工智能·云原生·go
清流君29 分钟前
【MySQL】数据库 Navicat 可视化工具与 MySQL 命令行基本操作
数据库·人工智能·笔记·mysql·ue5·数字孪生
Blossom.11836 分钟前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
biter008838 分钟前
ubuntu(28):ubuntu系统多版本conda和多版本cuda共存
linux·人工智能·ubuntu·conda
电鱼智能的电小鱼1 小时前
基于 EFISH-SBC-RK3588 的无人机通信云端数据处理模块方案‌
linux·网络·人工智能·嵌入式硬件·无人机·边缘计算