10分钟翻译一条视频,实现语音、字幕翻译后与画面同步对齐,视频翻译助手使用教程

做视频翻译时,需要把视频中的声音、字幕进行翻译,但翻译后,由于不同语言的朗读速度不一样,导致翻译后的声音与原来的视频画面存在时间差,直接等比修改视频或者声音的速度,并不能把对应的画面与声音在时间结上同步对齐,如果人工一个个去调整,则非常费时间,也非常繁琐,还容易出错。

我接下来要讲的是如何用10分钟翻译一条视频,并让翻译后的视频实现字幕、画面、声音三者同步对齐。

一、提取字幕+翻译字幕+配音

先创建一个剪映草稿,然后把要翻译的视频导入,导入剪映草稿后,使用剪映的智能字幕识别,字幕识别成功后关闭剪映草稿,打开视频翻译助手软件。

软件的第一个功能就是提取和修改字幕。一个视频要翻译成不同语言,首先要对视频中的配音进行对应的语言翻译和朗读,然后再把视频的画面与朗读的声音对齐,最终得到成品视频。第一个功能这里已经自动读取了剪映草稿列表,选中刚刚创建的剪映草稿后,软件会自动读取剪映草稿中的字幕,并在页面中提供对字幕的导入、复制功能。

在页面的下方有个"字幕改写"的按钮,这是软件提供的一个字幕改写和翻译的功能。点击一下这个改写功能,会弹出一个字幕改写翻译的操作区域。

对于字幕的改写和翻译,软件是调用了ai大模型来实现,并提供了自定义提示词管理,尽可能多的适配不同的业务需求。点击开始改写按钮后,软件会调用ai对字幕进行翻译和改写,改写成功后,得到了一个英文文本。

接着复制这个文本去配音,人工配音或者用ai配音都行。

二、字幕匹配+分割音频

配音结束后,配音结束后得到一个音频,把这个音频文件导入原来的剪映草稿,把原视频的的声音轨道静音打开,接着智能识别字幕,把这个英文配音的字幕识别出来。因为原视频是静音,所以这次得到的字幕就是配音对应的英文字幕。

从这两个字幕的时间线看到,中文字幕和英文字幕在时间线上有明显的差别,也就是英文的音频与原视频在时间线上是不匹配的。这时如果直接等比调整视频的速度,或者等比改变音频的速度来让它们自适应,那就会出现声音与画面不匹配的情况,因为配音的语速不是等比变化的,如果一个个的去分割,然后再变速调整又很费时间。

接着关闭草稿,回到视频翻译助手软件,定位到软件的第二个功能------字幕匹配。这个功能的目的是,把中文字幕与英文字幕根据意思进行一一对应的匹配,然后再根据这个匹配后的字幕,对配音进行分割。

与其他功能一样,进入这个功能页面后,软件会自动读取剪映草稿列表,选中要处理的剪映草稿后,软件会自动读取草稿中的中英文字幕。

接着,在下面有一个匹配场景的下拉选项,选中文对英文的选项,然后点击"AI智能匹配"按钮,软件会调用ai接口智能处理。

ai处理完成,会得到一个字幕列表,其中会显示完整的匹配关系。如果下方有提示说部分字幕没有匹配结果,比如下图显示有5条原字幕没有匹配到对应的新字幕,这个时候就要对这些没有匹配结果的字幕进行处理。

软件提供的处理方式有:

全部删除,意思就是把没有匹配到结果的原字幕删除,像这里5个字幕片段没有匹配到新字幕,那这5个原字幕就要删除掉。

往前合并、往后合并,也就是说把没有匹配结果的字幕,合并到前面一条字幕中或者后面一条字幕中。

AI智能合并,让AI智能决定是往前面合并,还是往后面合并。

手动调整,就是人工介入,根据你自己的理解去做这个合并操作

一般来讲,直接用AI智能合并可能效果还比较好。无匹配字幕处理完成后,点击"确认匹配结果",下方出现音频分割操作界面,接着对音频进行分割。

前面只是把字幕合并在一起,到了下面这一步,才是对音频的分割,音频分割的依据就是按照上一步的匹配结果,以字幕边缘为依据对配音进行分割,以备后续实现字幕、画面、声音三者同步对齐。一般来讲这个分割音频的选项基本不用改变,直接点分割音频即可。

音频分割后,对应的草稿结果如下图,音频片段数量与字幕片段数量一致。

三、字幕、配音、视频画面三者同步对齐

关闭草稿,接着回到视频翻译助手,定位到第三个功能------声音字幕画面对齐。这个功能如菜单字面意思一样,就是实现视频画面、字幕和声音三个分别同步对齐。

与其他功能一样,软件会自动读取剪映草稿列表,选中要处理的剪映草稿后,界面会显示对齐配置设置选项,可以根据自己需求,选择不同的配置,或者直接保持默认,点击"应用到草稿"按钮,然后打开剪映草稿效果如下。

字幕、画面、声音三个都对得整整齐齐了,视频翻译的核心功能完成。

如果你还想对视频添加一些原创因素,可以在辅助功能下面选择对应的功能使用,比如批量添加转场,可以对这些视频片段之间增加一些转场效果,不但能增强视频的观感,还能体现一些人工创作因素进去。另外还有镜像翻转(可以实现视频片段间隔翻转、随机翻转等)、批量关键帧(批量添加缩放、左右移动、摇晃、旋转等关键帧),这些功能可按需使用。

视频翻译助手软件下载地址:

链接: https://pan.baidu.com/s/1aSPOSROwiB5hEQ91ECUhxQ?pwd=cgg6 提取码: cgg6

链接:https://pan.quark.cn/s/a9e96157586f

相关推荐
Code-keys11 小时前
ARM NEON SIMD 编程实战:从音频信号处理到AI算子研发实战
arm开发·音视频·信号处理
产业家11 小时前
“绿算协同×Token工厂”新范式,润建股份探索出一个AI新样本
人工智能
暗夜猎手-大魔王11 小时前
hermes源码学习8-上下文压缩与缓存
人工智能·缓存
申通之声11 小时前
以体验和AI重构竞争力,申通要“构建生态共同体”
大数据·网络·人工智能·重构·交通物流
terry60011 小时前
2026图形验证码服务商横向测评|口碑、接入、安全选型全指南
java·大数据·人工智能·web安全·信息与通信·数据库架构
Parry11 小时前
用语种检测、翻译、纠错和情感分析构建多语言内容审核 Agent
人工智能
xiami_world11 小时前
私有化部署协同白板选型指南:从Docker容器化到信创全栈适配的架构实践
运维·人工智能·docker·ai·持续部署
Eloudy11 小时前
ns-3 在数据中心网络仿真
网络·人工智能·量子计算
weixin_3077791311 小时前
从脚本执行到智能体协作:AI辅助测试能力的范式重构
运维·开发语言·人工智能·算法·测试用例
量化君也11 小时前
从回测到全自动实盘交易,全天候策略需要经历哪些改造?
大数据·人工智能·python·算法·金融