Python - GFPGAN + MoviePy 提高人物视频画质

目录

一.引言

二.gif_to_png

三.gfp_gan

四.png_to_gif

五.总结


一.引言

前面我们介绍了 GFP-GAN 提高人脸质量OCR 提取视频台词、字幕,前者可以提高图像质量,后者可以从视频中抽帧,于是博主便想到了将二者进行结合并优化人物 GIF 图像质量。其步骤如下:

MoviePy 截取视频关键帧

GFP-GAN 提高人脸图像质量

MoviePy 关键帧合并为 GIF

Tips:

后面的执行步骤需要电脑上已经配置好 GFP-GAN 的环境且安装了 moviepy 的依赖。

二.gif_to_png

python 复制代码
def gif_to_png(_file_name, _output):
    from moviepy.editor import VideoFileClip

    # Load your gif
    clip = VideoFileClip(_file_name)
    print(f'Duration: {clip.duration} FPS: {clip.fps}')

    # Loop over clip frames
    for i, frame in enumerate(clip.iter_frames()):
        from PIL import Image
        img = Image.fromarray(frame)
        img.save(f'{_output}/frame_{i}.png')

if __name__ == '__main__':
    file_name = "/Users/Desktop/ori.gif"
    output = "/Users/Desktop/out"
    gif_to_png(file_name, output)

这一步我们读取 gif 并抽帧保存为多张图片,运行程序后会在 output 文件夹下得到 FPS x Duration = 40 张图片:

python 复制代码
Duration: 4.0 FPS: 10.0

由于是老版电视剧的原因,gif 中人物的表情比较糊,画质较差:

三.gfp_gan

python 复制代码
python inference_gfpgan.py -i inputs/gif_imgs -o results -v 1.3 -s 2

将上面的多帧图片存储至 GFP-GAN inputs 文件夹下,执行 inference_gfpgan.py,结果将输出至 results 文件夹内:

其中 restored_imgs 文件夹内存储了我们修复的多帧图像,看一下修复效果:

四.png_to_gif

python 复制代码
def png_to_gif(_output, gif_name, fps):
    file_list = os.listdir(_output)
    file_list.sort()
    
    # 构造多个 ImageClip 片段
    clips = [ImageClip(_output + img).set_duration(1) for img in file_list if img.endswith(".png")]

    concat_clip = concatenate_videoclips(clips, method="compose")
    concat_clip.write_gif(gif_name, fps=fps)

if __name__ == '__main__':

    file_name = "/Users/Desktop/ori.gif" # 原始 GIF
    input = "/Users/Desktop/result/restored_imgs/" # 修复帧
    output = "out.gif" # 输出 GIF
    # 匹配原 GIF 的 FPS
    ori_fps = VideoFileClip(file_name).fps
    png_to_gif(input, output, ori_fps)
python 复制代码
MoviePy - Building file out.gif with imageio.

出现上述命令后代表开始多帧图像的合并,可以看到修复后的 GIF 人物更加的清晰:

五.总结

GFP-GAN 整体来说可玩性还是很高,后面博主会继续跟进 wave2lip 的测试,把音频、图像、视频结合到一起。这里我们处理的原始 gif 大小为 10m,处理后大小为 14m;同时如果资源比较充足的话,也可以将 GIF 扩展为视频人物细节处理。

相关推荐
liuyunshengsir21 分钟前
AI Agent 实战:搭建个人在线旅游助手
人工智能·旅游
Shawn_Shawn21 分钟前
大模型微调介绍
人工智能
TiAmo zhang25 分钟前
DeepSeek-R1 模型现已在亚马逊云科技上提供
人工智能·云计算·aws
liruiqiang0526 分钟前
循环神经网络 - 简单循环网络
人工智能·rnn·深度学习·神经网络·机器学习
Erica_zhase1 小时前
GPT-4o推出的原生图像生成功能升级后有点东西!
人工智能
青花瓷1 小时前
智谱大模型(ChatGLM3)PyCharm的调试指南
人工智能·python·大模型·智谱大模型
说私域1 小时前
基于开源AI大模型与S2B2C模式的线下服务型门店增长策略研究——以AI智能名片与小程序源码技术为核心
大数据·人工智能·小程序·开源
V_HY147621 小时前
AI碰一碰发视频获客工具,系统开发逻辑详细解析
大数据·人工智能·新媒体运营·流量运营
鸿蒙布道师2 小时前
OpenAI战略转向:开源推理模型背后的行业博弈与技术趋势
人工智能·深度学习·神经网络·opencv·自然语言处理·openai·deepseek
白雪讲堂2 小时前
AISEO (GEO )中的知识图谱
人工智能·chatgpt·知识图谱