Inpaint Anything: 自动化抹除视频元素

自动化抹除视频元素

不用逐帧抠图,直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。

https://github.com/geekyutao/Inpaint-Anything

目录

网站

https://huggingface.co/spaces/InpaintAI/Inpaint-Anything

演示

原理就是,只要在视频的第一帧点击下要抹除的目标,tracking模型随即开始跟踪目标并输出对应的bounding box;这个bounding box可以作为SAM的prompt实现分割,即得到每一帧的目标mask;有了mask之后,video inpainting模型就可以进行填补了,目标物体随之从视频中抹去。

理论上上述方法非常可行有效,但做实验下来,发现实际瓶颈在于目前的video inpainting模型的效果不是非常好,导致最后目标移除的效果有限。

参考文献

https://arxiv.org/pdf/2304.06790.pdf

https://www.zhihu.com/question/612195663/answer/3120899437

相关推荐
跟着珅聪学java4 天前
HTML5 Video Controls 属性深度教程
video
core51212 天前
[硬核解析] 从感知到交互:InternVideo 1/2/2.5 全系列架构演进与原理解析
架构·大模型·交互·视频·video·intern
davenian18 天前
< Chrome Extension: Video DownloadHelper > 获得 Premium 权限 Ver10.0.271.2
chrome·edge·windows 11·video·downloadhelper
打小就很皮...1 个月前
React VideoPlay 组件封装与使用指南
前端·react.js·video
人工智能培训3 个月前
Transformer-位置编码(Position Embedding)
人工智能·深度学习·大模型·transformer·embedding·vision
清水迎朝阳7 个月前
火山 RTC 引擎9 ----集成 appkey
实时音视频·video·rtc·appkey
S&Z34638 个月前
[FPGA Video IP] Video Processing Subsystem
网络协议·tcp/ip·fpga开发·video
人无远虑必有近忧!8 个月前
video标签播放mp4格式视频只有声音没有图像的问题
前端·video
wanfeng_091 年前
视频m3u8形式播放 -- python and html
python·html·video·hls·m3u8
夏日米米茶1 年前
让iPhone自带浏览器Safari能自动播放Video视频的办法
iphone·video·autoplay