Python - GFPGAN + MoviePy 提高人物视频画质

目录

一.引言

二.gif_to_png

三.gfp_gan

四.png_to_gif

五.总结


一.引言

前面我们介绍了 GFP-GAN 提高人脸质量OCR 提取视频台词、字幕,前者可以提高图像质量,后者可以从视频中抽帧,于是博主便想到了将二者进行结合并优化人物 GIF 图像质量。其步骤如下:

MoviePy 截取视频关键帧

GFP-GAN 提高人脸图像质量

MoviePy 关键帧合并为 GIF

Tips:

后面的执行步骤需要电脑上已经配置好 GFP-GAN 的环境且安装了 moviepy 的依赖。

二.gif_to_png

python 复制代码
def gif_to_png(_file_name, _output):
    from moviepy.editor import VideoFileClip

    # Load your gif
    clip = VideoFileClip(_file_name)
    print(f'Duration: {clip.duration} FPS: {clip.fps}')

    # Loop over clip frames
    for i, frame in enumerate(clip.iter_frames()):
        from PIL import Image
        img = Image.fromarray(frame)
        img.save(f'{_output}/frame_{i}.png')

if __name__ == '__main__':
    file_name = "/Users/Desktop/ori.gif"
    output = "/Users/Desktop/out"
    gif_to_png(file_name, output)

这一步我们读取 gif 并抽帧保存为多张图片,运行程序后会在 output 文件夹下得到 FPS x Duration = 40 张图片:

python 复制代码
Duration: 4.0 FPS: 10.0

由于是老版电视剧的原因,gif 中人物的表情比较糊,画质较差:

三.gfp_gan

python 复制代码
python inference_gfpgan.py -i inputs/gif_imgs -o results -v 1.3 -s 2

将上面的多帧图片存储至 GFP-GAN inputs 文件夹下,执行 inference_gfpgan.py,结果将输出至 results 文件夹内:

其中 restored_imgs 文件夹内存储了我们修复的多帧图像,看一下修复效果:

四.png_to_gif

python 复制代码
def png_to_gif(_output, gif_name, fps):
    file_list = os.listdir(_output)
    file_list.sort()
    
    # 构造多个 ImageClip 片段
    clips = [ImageClip(_output + img).set_duration(1) for img in file_list if img.endswith(".png")]

    concat_clip = concatenate_videoclips(clips, method="compose")
    concat_clip.write_gif(gif_name, fps=fps)

if __name__ == '__main__':

    file_name = "/Users/Desktop/ori.gif" # 原始 GIF
    input = "/Users/Desktop/result/restored_imgs/" # 修复帧
    output = "out.gif" # 输出 GIF
    # 匹配原 GIF 的 FPS
    ori_fps = VideoFileClip(file_name).fps
    png_to_gif(input, output, ori_fps)
python 复制代码
MoviePy - Building file out.gif with imageio.

出现上述命令后代表开始多帧图像的合并,可以看到修复后的 GIF 人物更加的清晰:

五.总结

GFP-GAN 整体来说可玩性还是很高,后面博主会继续跟进 wave2lip 的测试,把音频、图像、视频结合到一起。这里我们处理的原始 gif 大小为 10m,处理后大小为 14m;同时如果资源比较充足的话,也可以将 GIF 扩展为视频人物细节处理。

相关推荐
云雾J视界1 天前
人月神话今犹在:从布鲁克斯法则到阿里云AI代码生成
人工智能·项目管理·ai编程·人月神话·人机月
算家计算1 天前
DeepSeek被曝年底推出AI智能体,下一代人机交互时代要来了?
人工智能·agent·deepseek
HenrySmale1 天前
01 神经网络简介
人工智能·深度学习·神经网络
爱补鱼的猫猫1 天前
pytorch可视化工具(训练评估:Tensorboard、swanlab)
人工智能·pytorch·python
算家计算1 天前
腾讯最新开源HunyuanVideo-Foley本地部署教程:端到端TV2A框架,REPA策略+MMDiT架构,重新定义视频音效新SOTA!
人工智能·开源
moonsheeper1 天前
NLP技术爬取
人工智能·自然语言处理
拆房老料1 天前
大语言模型基础-Transformer之上下文
人工智能·语言模型·transformer
zzywxc7871 天前
AI行业应用:金融、医疗、教育、制造业的落地案例全解析
人工智能·深度学习·spring·机器学习·金融·数据挖掘
Ai工具分享1 天前
视频增强AI哪个效果好?实战对比帮你找到最适合的工具
人工智能·音视频
山烛1 天前
OpenCV 模板匹配
人工智能·python·opencv·计算机视觉·目标跟踪·模板匹配