自动化抹除视频元素
不用逐帧抠图,直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。
https://github.com/geekyutao/Inpaint-Anything
目录
网站
https://huggingface.co/spaces/InpaintAI/Inpaint-Anything
演示
原理就是,只要在视频的第一帧点击下要抹除的目标,tracking模型随即开始跟踪目标并输出对应的bounding box;这个bounding box可以作为SAM的prompt实现分割,即得到每一帧的目标mask;有了mask之后,video inpainting模型就可以进行填补了,目标物体随之从视频中抹去。
理论上上述方法非常可行有效,但做实验下来,发现实际瓶颈在于目前的video inpainting模型的效果不是非常好,导致最后目标移除的效果有限。