Inpaint Anything: 自动化抹除视频元素

自动化抹除视频元素

不用逐帧抠图,直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。

https://github.com/geekyutao/Inpaint-Anything

目录

网站

https://huggingface.co/spaces/InpaintAI/Inpaint-Anything

演示

原理就是,只要在视频的第一帧点击下要抹除的目标,tracking模型随即开始跟踪目标并输出对应的bounding box;这个bounding box可以作为SAM的prompt实现分割,即得到每一帧的目标mask;有了mask之后,video inpainting模型就可以进行填补了,目标物体随之从视频中抹去。

理论上上述方法非常可行有效,但做实验下来,发现实际瓶颈在于目前的video inpainting模型的效果不是非常好,导致最后目标移除的效果有限。

参考文献

https://arxiv.org/pdf/2304.06790.pdf

https://www.zhihu.com/question/612195663/answer/3120899437

相关推荐
码哥字节7 天前
DeepSeek 视觉 API 刚上线:单张图 0.001 元,Agent 终于能看图
vision·多模态·deepseek·agent skills
Cerman19 天前
UEFI GOP driver基础协议解读
video·uefi·gop·edid·gfx
mengyuxuan1 个月前
在浏览器里做视频压缩,我踩的三个坑
video·compressor·compress
山顶夕景2 个月前
【全模态】音视频理解模型Audio-Visual Flamingo
音视频·video·vlm·多模态理解
mengyuxuan2 个月前
我写了个不用上传的浏览器视频压缩工具,顺便记一个坑了我小半天的 bug
video·compressor·private·compress
YMWM_2 个月前
video.preset的值为null和ultrafast的区别
linux·video
跟着珅聪学java9 个月前
HTML5 Video Controls 属性深度教程
video
core51210 个月前
[硬核解析] 从感知到交互:InternVideo 1/2/2.5 全系列架构演进与原理解析
架构·大模型·交互·视频·video·intern
davenian10 个月前
< Chrome Extension: Video DownloadHelper > 获得 Premium 权限 Ver10.0.271.2
chrome·edge·windows 11·video·downloadhelper
打小就很皮...10 个月前
React VideoPlay 组件封装与使用指南
前端·react.js·video