提高视频翻译质量的几个方法

在使用"视频翻译配音工具VideoTrans"中,经常有用户抱怨翻译质量过差,本文讲一下提高翻译质量的技巧。

如果你还没有安装,可查看上篇文章。# 一文搞懂"视频翻译与配音工具"!

整个视频翻译配音软件的工作原理是这样的:

  1. 第一步将原始视频中的人类说话声识别为文字。

  2. 然后将识别出来的文字翻译为目标语言文字,并组装为字幕格式

  3. 第三根据此字幕合成为目标语言配音

  4. 最后将字幕、配音嵌入到视频,即完成了视频翻译过程。

决定质量好坏的两个关键因素:

一是识别出来的文字准确度。

二是对该文字翻译后的质量。

而文字的准确度直接决定文字翻译的质量,所以要提高翻译质量,就需要从这两方面着手。


一:如何提高文字识别准确度呢:

  1. 使用大模型large-v3.

从 base模型、small模型、medium模型到large-v3模型,识别精度越来越好,但消耗计算机资源也越来越多,如果你的计算机拥有性能较好的英伟达显卡,并且显存大于等于8G,同时配置好了CUDA和cuDNN环境,可以尝试使用 large-v3 模型,将能显著提高文字字幕识别准确度。

查看CUDA和cuDNN环境安装方法

2. 分离视频中的背景声音。

如果视频中有较多的背景音乐或背景噪声,肯定会干扰文字识别效果。可以尝试选中"保留背景音",会在识别之前先将背景声音分离出来,只使用里面人类说话声去识别,效果会好很多。

当然你也可以使用其他第三方分离工具或者软件左侧"分离人声背景"功能,单独将视频中的人声和背景音分离出来。

然后使用"音视频转文字"功能单独将人声进行字幕识别,取得文字字幕。

然后在"文字字幕翻译"下,翻译该字幕为目标语言

再到"标准功能模式"下,导入该字幕、添加背景音乐,最后将配音、字幕嵌入视频,虽然步骤略繁琐,但能显著提升翻译效果。

3. 手动修改调整

在字幕识别完成后,以及翻译完成后,都会在软件右侧字幕区显示当前的完整文字,你可以"点击暂停"按钮,暂停后,手动进行修改调整。不论机器识别和翻译多么准确,永远也不如人工校对。


二:如何提高文字字幕翻译质量

目前支持的翻译渠道有"Microsoft/Google/DeepL/ChatGPT/Gemini/Azure/百度翻译/腾讯翻译"

其中翻译质量最好的是 "ChatGPT/DeepL/Azure" ,此三者都需要有付费账号,但都不支持国内用户付费,并且 ChatGPT/Azure 还需要配置代理,门槛较高。

如果你满足该条件,拥有付费账户并且会配置代理,可使用这3种翻译渠道提高翻译质量(ChatGPT国内有很多中转代理服务可使用)。

再次效果较佳的是Google/Gemini/Microsoft ,这三者都是免费的,其中Google和Gemini需要配置代理,Microsoft不需要代理。

但要注意Gemini 安全限制较高,如果你的视频对话内容有分级,可能会被Gemini拒绝翻译。

再次可选择百度翻译和腾讯翻译,需要分别去他们网站申请免费key和appid,其中腾讯的免费额度较高,百度免费额度很低。

综上,条件满足的情况下首选 ChatGPT/DeepL , 再次Google ,再次 Microsoft,最后腾讯翻译百度翻译。

当然也可以使用DeepLx白嫖DeepL,但不稳定,容易被封IP。

同样,在翻译完成后,也会出现暂停按钮,点击暂停,右侧字幕区可手动核对修改翻译结果。


软件开源地址:

github.com/jianchang51...

PS:图片来自本人公众号

相关推荐
拥抱AGI几秒前
我说大模型微调没啥技术含量,谁赞成谁反对?
人工智能·学习·语言模型·大模型学习·大模型入门·大模型教程
aqymnkstkw2 分钟前
2024年【电气试验】考试题库及电气试验模拟试题
大数据·c语言·人工智能·嵌入式硬件·安全
2401_85044049721 分钟前
激发AI创造力:掌握Prompt提示词的高效提问方法
人工智能·prompt
Terry Cao 漕河泾1 小时前
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
人工智能·计算机视觉·3d·目标跟踪
多猫家庭1 小时前
宠物毛发对人体有什么危害?宠物空气净化器小米、希喂、352对比实测
人工智能·宠物
AI完全体1 小时前
AI小项目4-用Pytorch从头实现Transformer(详细注解)
人工智能·pytorch·深度学习·机器学习·语言模型·transformer·注意力机制
AI知识分享官1 小时前
智能绘画Midjourney AIGC在设计领域中的应用
人工智能·深度学习·语言模型·chatgpt·aigc·midjourney·llama
程序小旭2 小时前
Objects as Points基于中心点的目标检测方法CenterNet—CVPR2019
人工智能·目标检测·计算机视觉
阿利同学2 小时前
yolov8多任务模型-目标检测+车道线检测+可行驶区域检测-yolo多检测头代码+教程
人工智能·yolo·目标检测·计算机视觉·联系 qq1309399183·yolo多任务检测·多检测头检测
CV-King2 小时前
计算机视觉硬件知识点整理(三):镜头
图像处理·人工智能·python·opencv·计算机视觉