一个功能强大的视频翻译和本地化配音工具，支持影视级双语字幕/视频配音

家好，今天给大家分享一个功能强大的视频翻译和本地化配音工具VideoLingo，旨在为用户提供高质量的字幕和配音服务，让全世界的知识能够跨越语言的障碍共享。

VideoLingo项目的开发旨在解决视频内容创作者和翻译者面临的跨语言障碍问题。通过提供高质量的字幕和配音服务，该项目旨在使全球知识能够跨越语言障碍，实现共享与交流。

视频下载：使用yt-dlp从YouTube等视频平台下载视频。

字幕识别：采用WhisperX技术进行单词级时间轴字幕识别，确保字幕与视频内容的精准同步。

字幕分割：利用NLP（自然语言处理）和GPT（大型语言模型）技术，根据句意进行字幕分割，提高字幕的准确性和可读性。

术语知识库：GPT总结提取术语知识库，实现上下文连贯翻译，避免机器翻译的生硬和不准确。

字幕翻译与配音：提供高质量的翻译和配音服务，确保字幕和配音与视频内容的完美匹配。翻译过程包括直译、反思和意译三步，以达到媲美字幕组精翻的效果。配音则使用GPT-SoVITS等方法进行高质量的对齐。

一键生成：通过直观的Streamlit网页界面，用户只需点击两下即可完成从视频链接到内嵌高质量双语字幕甚至带上配音的整个流程，轻松创建Netflix品质的本地化视频。

高效性：VideoLingo能够一键完成视频字幕的切割、翻译、对齐和配音，极大地提高了工作效率。

准确性：采用先进的NLP和GPT技术，确保字幕翻译和配音的准确性和自然性。

个性化：提供个性化配音服务，用户可以根据需求选择不同的声音风格和语调。

多语言支持：全面支持多种语言，轻松实现跨语言视频本地化。

视频搬运：帮助用户快速下载、翻译并配音，轻松实现视频内容的跨语言传播，例如将油管热门英文视频翻译成中文进行知识、资讯传播。

教育视频制作：可为教学视频添加多语言字幕，方便不同语言背景的学生学习，拓宽教育视频的受众群体。

企业宣传：能够高效制作多语言版本的企业宣传片，提升企业品牌在全球范围内的影响力。

个人创作：为个人视频作品添加专业的字幕和配音，提高视频质量，增强作品的吸引力和传播力。

本项目需使用大模型和 TTS ，每个环节都提供了多种选择。

1.获取大模型的 API_KEY：

⚠️ 注意：prompt 涉及多步思维链和复杂的json格式，弱模型容易出错。1h 视频使用 claude 花费约 10 元。

✅ 支持 OAI-Like 的 API 接口，需要自行在 streamlit 侧边栏更换。

⚠️ 但其他模型（尤其是小模型）遵循指令要求能力弱，非常容易在翻译过程报错，强烈不推荐，遇到报错请更换模型。

VideoLingo提供了多种 tts 接入方式，以下是对比（如不使用配音仅翻译请跳过）

VideoLingo 支持 Windows、macOS 和 Linux 系统，可使用 CPU 或 GPU 运行。对于 Windows 系统使用 GPU 加速，需要安装以下依赖：

1.克隆项目并切换至项目目录：

git clone https://github.com/Huanshere/VideoLingo.git
cd VideoLingo

2.创建并激活虚拟环境（必须 python 3.10.0）：

conda create -n videolingo python=3.10.0 -y
conda activate videolingo

3.应用汉化补丁：

打开项目根目录下的 i18n/中文文件夹
将该文件夹中的所有内容复制到项目根目录
在弹出的提示中选择"替换目标中的文件" （注意：Mac系统会删除整个目标文件夹后再复制，而Windows只会替换重复的文件。Mac用户建议手动将文件逐个移动到目标位置）

4.运行安装脚本：

python install.py

5.输入命令或点击 一键启动.bat 启动 Streamlit 应用：

streamlit run st.py

在弹出网页的侧边栏中设置key，开始使用~

也可以使用作者搭建好的具有一定使用额度的服务来体验 VideoLingo 的功能，在线体验地址。

VideoLingo项目是一个开源项目，用户可以在GitHub上找到其源代码并进行本地部署。同时，该项目也提供了详细的部署和使用指南，方便用户快速上手。

综上所述，VideoLingo项目是一款功能强大、高效便捷的视频翻译和本地化配音工具。它采用先进的技术手段，为用户提供了高质量的字幕和配音服务，极大地促进了全球知识的共享与交流。

https://github.com/Huanshere/VideoLingo