视频擦除全流程,从擦除原理、开源软件到工具选择

为什么无痕视频擦除很难?现在的擦除和以前剪映、PR 擦除有什么区别?自动擦除需要哪些步骤?有哪些开源软件和闭源方案,他们的效果和收益是怎样的?让我们一起来回答这些视频擦除的问题。

1. 视频硬字幕擦除的定义

硬字幕擦除做的是补画面,不是删一条字幕轨。文字已经画进每一帧的视频像素里,工具把那一块涂掉,再根据周围和前后帧把背景估出来。估出来的不是烧字幕之前的原始像素。所以 AI 视频擦除本质不是擦,是通过 AI 计算还原,是一种 AI 生成的技术。

1.1 先分清三种字幕,只有一种需要擦

播放器里能关掉的,是软字幕。它躺在单独的字幕轨上,关掉,或者封装时把那条轨拿掉,画面像素原样还在。

上游能给出无字幕母带,直接用母带。这是画质上限,也不用再审「补得像不像」。

只有两件事同时成立,才进入后面的技术:任意播放器里字都关不掉,而且拿不到净版。这时字是画面的一部分。新字幕叠上去会和旧字打架,把底部裁掉又少一块构图。擦除是在这两者之间找一条能看的路。

2. 同一帧左右看,擦除在处理哪类字

下面每张图都是同一时刻:左边擦之前,右边擦之后。截图只能看残字、误伤和细边缘。闪不闪必须连续播。前三张来自同一段 9 秒短剧,中间换了镜头。

2.1 一帧里同时有对白、免责声明和人名

底部是对白,左侧竖着「影视效果 请勿模仿」,右边是人名。三处都是字,停留方式和该不该留并不一样。这一帧把它们都去掉了。人名旁边那条金线还留着一截。

细线对比度低,边缘又有一圈抗锯齿。遮罩如果只盖住字的主体,这圈浅像素还在。修复模型也缺少足够的纹理把一条 1 像素的线接完整,于是留下一道。暂停时要专门放大看描边、下划线和这种金线,不能只看大字还在不在。

人名要不要留,是规则,不是模型自己能判断的。这部片子的演示把人名一起清了。若人名是要保留的剧情信息,就得把那一块标成保留区。

2.2 字幕压在头发上

特写里,字幕压在头发和下巴附近,左侧免责声明也在。头发是高频纹理,帧和帧之间本来就在动。单帧补洞很容易把发丝抹平;用前后帧补,光流又容易在发丝上对错。所以这一类镜头,截图干净不算过,要按原速播,看发丝会不会跳。

2.3 字不在底部那一条里

这一镜几乎没有底部对白。左边是人名花字,四边还有摄影机参数。只框住画面下方,这些字全会留下。字的位置决定了后面用固定区域、多框,还是更大的范围。

2.4 语种变了,步骤没有变

中文、英文、韩文三张是官网演示条,字是后压上去的样例句,左右仍是同一帧。拿它们看的是位置和遮挡,不是文案。

口播最常见的就是胸口这一条。背景是叶子时,要看叶边有没有被补糊。叶子和头发是同一类问题:边缘细、纹理碎。

英文常常是两行,还贴着袖口、桌面和杯子。遮罩画大了,这些边缘会一起被修。画小了,第二行的下降部会留下残字。

字压在酒杯和手指上。透明物体的前后帧不好对齐,手的边缘又是观众盯着看的地方。擦完要单独看这两处,不要只看字幕原来的位置空了没有。

2.5 该擦的字,和该留的字叠在一起

带货标题经常在画面上半,不在传统字幕带。商品上印着的数字、型号要留。标题和包装字如果用同一套「见字就擦」,型号会先出事。

黄字直接盖在一张算式表上。要去掉的是黄字,底下印着的算式得还在。检测器会把两边都认成字。擦除系统必须再有一层决定:哪些框进入遮罩,哪些框明确保留。

3. 视频擦除原理:认出来,决定擦哪,再把洞补上

上面几帧可以收成同一条链路。缺任何一步,都会在某一类镜头上翻车。

3.1 认字:抽样,再收成一句

光学字符识别(OCR)对一帧图像输出三样东西:框、框里的文字、置信度。它不关心这是字幕、店招还是包装。

100 分钟的片子按 25 帧计算,大约 15 万帧。同一句对白往往停 1 到 2 秒,中间绝大多数帧上的字是重复的。每一帧都完整跑一遍检测和识别,时间花在重复劳动上,框的位置还会帧帧抖动。

实用做法是按时间抽样,再把相邻结果合并。位置接近、文字相同、中间没有镜头切换,就收成一个事件:这句字,从几秒到几秒,框落在哪。后面的遮罩按事件生成,不按单帧生成。镜头切了必须把事件断开,否则上一镜的框会套到下一镜。

中文视频里现在最常用的识别工具是 ​PaddleOCR。

VSR 1.4.0 用的是其中的 PP-OCRv5。检测这一支更早的代码还有 ​EAST、​CRAFT、​DB,适合看「框是怎么来的」。直接跑业务,多数人已经用 PaddleOCR 这一层,而不是自己再训一个 EAST。

​EasyOCR 安装快、语种多,拿来确认「这句外文认不认得出来」很合适。要在很多集中文短剧上稳定出框,还是 PaddleOCR 更常见。

3.2 决定擦哪:框要比字大一圈,但不是见字就擦

检测给出候选。擦除还要一道规则,至少看四件事:

  • 位置。底部一条、左右竖排、四边花字、画面中央的标题,不是同一类。

  • 停留。对白会停一两秒;一闪而过的特效字、台标、弹幕,时间模式不同。

  • 是否重复。同一句在相邻帧反复出现,更像字幕。招牌和包装通常跟着场景走,不跟着对白走。

  • 要不要留。人名、品牌、型号、表格里印着的字,可以同样被检测到。留不留是项目规则。第 8 张图就是这个分界。

规则定了以后才生成遮罩。遮罩要比字形大一点,把投影、描边和抗锯齿盖住。第 1 张图的金线,就是主体已经盖住、细边缘没盖住的结果。遮罩过大则相反:袖口、杯子、手指会被修进去,对应第 5、第 6 张。

所以「检测到文字」和「这里该擦」是两件输出。前者是 OCR 的事,后者是区域、时间和保留名单的事。

3.3 补画面:单帧看周围,视频看前后帧

遮罩之内的像素被丢掉,模型要填回来。

单帧图像修复只看这一帧遮罩外面的纹理。​LaMa 是这条线上用得最多的开源模型,大块缺失、背景比较静的时候,暂停看往往很像样。视频如果一帧一帧各补各的,每一帧的补法都有一点差别,连起来播,字幕带原来的位置会闪,像在呼吸。头发、叶边、暗部渐变最明显。

视频修复把邻近帧一起送进模型,让被挡住的内容从前后帧里找。三条常见实现:

  • ​STTN 在时间和空间上一起看邻近帧。真人视频上速度和质量比较均衡,VSR 处理实拍时默认走这条。邻近帧数调大,连续性通常更好,显存也上去。

  • ​ProPainter 把传播做得更远,剧烈运动时连续性经常更好,模型体积和显存也明显更大。VSR 1.4.0 把它从默认安装里拿掉了,作者的理由就是模型大、吃显存。算法仓库还在,要这个效果需要自己接。

OpenCV 自带的补洞(Telea、Navier-Stokes 那一类)最快,边缘容易糊,适合做「传统方法和现在差多少」的对照,不适合当短剧成片。

​IOPaint 把 LaMa 等模型做成能涂抹的工具。拿来试遮罩、修几帧很直接。几百集不能靠手涂。

和案例对上就是:第 2 张看的是高频纹理会不会闪,第 6 张看的是透明物体和手,第 1 张看的是遮罩没盖住的细结构。这三件用一张暂停图都证明不了。

3.4 最小可用流程

把上面三步按顺序放平,就是一条能交付的流程:

  1. 看素材:时长、分辨率、字幕大概在哪、有没有镜头大动、有没有人和字重叠。

  2. 抽样检测,得到文字候选。

  3. 跨帧合并成带时间的事件,镜头切换处断开。

  4. 套用擦除和保留规则,生成比字形稍大的遮罩。

  5. 按运动和纹理选单帧修复或视频修复。

  6. 连续播放抽检:残字、误伤、闪烁、细线。过了再扩到同一版式的其他集。

开源项目通常覆盖第 2 步和第 5 步。第 4 步的保留名单、第 6 步的抽检,以及一百集怎么排队,要自己补,或者交给带这套流程的软件。

4. 开源软件:按流水线汇总

不要按星数挑一个「最强去字幕」。去硬字幕是检测、规则、修复三件东西接在一起。2026 年 10 月,自己跑擦除可以按下面这张表拼。

环节 项目 它解决什么 用的时候注意
整套去硬字幕 video-subtitle-remover 本地去硬字幕和文字水印,能框一块或多块 实拍默认 STTN,图片和动画用 LaMa。1.4.0 起不再内置 ProPainter
先把台词提出来 video-subtitle-extractor 把硬字幕认成字幕文件 不改画面。擦之前先提出来,不然台词和字一起没了
认字 PaddleOCR 检测加重识别,中文场景最常用 VSR 1.4.0 使用 PP-OCRv5
认字 EasyOCR 快速试多语种 大批中文短剧通常还是回到 PaddleOCR
看检测原理 EAST、CRAFT、DB 文字框怎么来的 读代码清楚,直接当生产检测器的人已经少了
单帧补洞 LaMa 静态背景、图片、动画 视频逐帧用会闪
涂抹试遮罩 IOPaint 把 LaMa 等做成可涂抹工具 适合试几帧,不适合几百集
视频补洞 STTN 邻近帧一起补,VSR 实拍默认 帧数调大更稳,也更吃显存
视频补洞 ProPainter 剧烈运动时连续性往往更好 显存和时间都更贵;VSR 已不内置,需自己接

一条能先跑通的组合是:用 video-subtitle-extractor 把硬字幕提出来,再用 VSR 擦画面。字的位置固定,就只框那一条或那几块,范围越小越不容易误伤。实拍用 STTN,动画和单张图用 LaMa。运动已经大到 STTN 明显发闪,再单独评估要不要接 ProPainter 或 E2FGVI,不要默认所有片子都上最重的模型。

这些仓库解决的是「这一段视频怎么把字去掉」。它们不管整部剧的保留名单、失败重跑、擦完以后的翻译和配音。那是闭源软件分叉的地方。

5. 闭源软件:按任务汇总

这里不打分。各家官网都不能代替「同一段难镜头、连续播放」的验收。截至 2026 年 10 月,按它们实际在做的事分成四类。

5.1 裁掉或盖住,不补像素

Veed 去文字 写明了两种做法:把字裁出画幅,或者用色块、贴纸、新字幕盖住。这不是把被挡住的背景补回来。

字贴在画面边缘、构图允许少一块的时候,这条路最稳,因为没有生成痕迹。字压在脸上、又不能裁,它解决不了第 2 节那些帧。

5.2 剪辑软件里顺手擦一条

剪映(海外产品名 CapCut)的消除类功能,适合片子已经在剪辑时间线上、只要处理一条或几条。上手快。它的主路径不是一百集排队、抽检、再送去翻译。

video-subtitle-remover 是桌面工具。字幕和水印都是压在画面上的图层,所以也会被拿来去硬字幕。适合不想把成片传到网页、又只处理有限条数的人。具体时长和批量以当前版本为准。

Adobe After Effects 的内容识别填充,是难镜头的手工上限:自己画遮罩,让软件用前后帧填。几秒可以抠得很细,一条 9 秒成片里的金线、发丝都可以逐段修。把它用在几十集上,时间和人力都对不上。

5.3 专门做去字的在线工具

GhostCut 把去字幕、去水印、去画面文字作为单独工具,提供各个版本都有。在线版对单条时长有限制,长视频要看桌面版和套餐。素材会上传。他提供多个擦除产品和擦除的版本,满足不同质量和效率的需求。

5.4 擦完还要接着译制

短剧出海通常不是擦完就结束。干净画面还要提取或生成字幕、翻译、配音、再压新字幕。文件如果在去字网站、剪辑工程、翻译表之间搬,一百集的返工会花在搬运上。 鬼手剪辑字幕擦除走的是这条:先把硬字幕清掉,画面留在后面的翻译和配音里。范围按字在哪分。位置固定就框住那一块;贴片很散再用全屏;滚动或者跟着画面走的字要单独跟踪,固定框会擦不干净,也会伤到旁边。修复也分轻重,运动大、纹理细再用更重的一档。重的更慢,先用十几秒看边缘和耗时,再决定整部剧走哪一档。

闭源不会自动消灭第 1 张图里的金线,也不会自动知道人名该不该留。难镜头照样要按第 3.4 节抽检。鬼手剪辑省的是批量、范围选择,以及擦完不用再导出一轮才去翻译。原理页里可以连续播上面那段 9 秒:换语言前,先把字幕擦干净。

6. 按这个顺序选

  1. 播放器能关字幕,或上游有净版:停止,不要擦。

  2. 字在边缘,构图允许少一块画面:裁切或遮盖。这条没有生成痕迹。

  3. 一条片子,需要把背景补上,自己有显卡:VSR。先框住字,实拍用 STTN。

  4. 擦之前还要留下台词:先用 video-subtitle-extractor 提出字幕文件。

  5. STTN 已经明显发闪,运动又大:再试 ProPainter 或 E2FGVI,单独算显存和时间。

  6. 只有几秒,要求抠到发丝和细线:After Effects 里逐段修。

  7. 几十上百集,擦完还要翻译和配音:用带队列的工具。鬼手剪辑是其中一条。先拿头发、人手、四边花字这几秒试,过了再扩。

  8. 字和脸、手严重重叠,又要求看不出修过:当人工镜头处理。自动补会留痕,这是遮罩里的像素本来就已经丢了。

台标、弹幕、半透明花字,不要和对白字幕用同一套框。它们的位置和停留时间都不一样。验收就看四件事:还有没有残字,有没有误伤该留的字,播起来闪不闪,细线和图标边缘还在不在。

7. 链接

开源:

闭源和编辑器:

  • 裁切或遮盖:veed 去文字

  • 剪辑时间线上消除:剪映

  • 桌面去水印:hign pat remoer

  • 在线去字幕:GhostCut

  • 擦除后继续翻译配音:鬼手剪辑

相关推荐
GPUStack2 小时前
基于海光的 GPUStack 部署方案指导——以 Qwen3.6-27B 为例
人工智能·开源
lexiangqicheng2 小时前
14-AI智能管家JSBridge深度问答
人工智能
挖掘狂人2 小时前
AI 一天写的代码多了 30%,软件却没多出一个
人工智能·ai编程
小玮看世界2 小时前
【推测文】AI陪伴赛道的下一程:合规倒逼、组织重构与“反迎合”变成新护城河
人工智能
for_ever_love__2 小时前
LangChain 批量调用与并发控制:batch、abatch 与速率限制
人工智能·langchain·异步·config·invoke·abatch
码流子2 小时前
高速场景视频接入:GB/T 28181 级联与 RTSP 取流,一条链路讲清楚
大数据·数据库·人工智能·物联网·音视频
卿卿的产品经理日记2 小时前
【AI产品经理实战】Day 37|拆开 JSON 与 EXE:数据都有格式
人工智能·笔记·python·json·产品经理
yunni82 小时前
政企AI落地避坑:敏感数据不出域,安全需求优先本地化部署
人工智能·安全
广东帝工2 小时前
如何利用大数据和人工智能技术实现智慧航道
大数据·人工智能