Inpaint Anything: 自动化抹除视频元素

自动化抹除视频元素

不用逐帧抠图,直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。

https://github.com/geekyutao/Inpaint-Anything

目录

网站

https://huggingface.co/spaces/InpaintAI/Inpaint-Anything

演示

原理就是,只要在视频的第一帧点击下要抹除的目标,tracking模型随即开始跟踪目标并输出对应的bounding box;这个bounding box可以作为SAM的prompt实现分割,即得到每一帧的目标mask;有了mask之后,video inpainting模型就可以进行填补了,目标物体随之从视频中抹去。

理论上上述方法非常可行有效,但做实验下来,发现实际瓶颈在于目前的video inpainting模型的效果不是非常好,导致最后目标移除的效果有限。

参考文献

https://arxiv.org/pdf/2304.06790.pdf

https://www.zhihu.com/question/612195663/answer/3120899437

相关推荐
w7997662 个月前
JS获取页面中video标签视频的封面和时长
开发语言·javascript·video
NullPointerExpection3 个月前
java 使用 aws s3 sdk 通过分段下载来实现 html 页面 video 的断点播放、拖动进度播放
java·html·h5·aws·video·javaee
影子信息3 个月前
uniapp video播放视频 悬浮在屏幕无法滑动
uni-app·video
Eveweiscsdn3 个月前
video视频自动播放兼容IOS与Android
ios·音视频·reactjs·video·兼容
小李飞刀李寻欢3 个月前
centos下如何解决av.codec.codec.UnknownCodecError: libx264
linux·运维·centos·视频·video·h264·编解码
小李飞刀李寻欢3 个月前
av.codec.codec.UnknownCodecError: libx264
video·av·pyav·视频解析·libx264
Eveweiscsdn4 个月前
视频懒加载
前端·javascript·react.js·视频·video·懒加载
小李飞刀李寻欢4 个月前
ffmpeg获得视频的音频文件
ffmpeg·音视频·video·audio
黑匣子~7 个月前
uniapp视频播放器(h5+app)
uni-app·音视频·video·srt字幕·自定义播放器
Kun Li7 个月前
VideoGPT:Video Generation using VQ-VAE and Transformers
stable diffusion·video·sora