🔴在家用AI做对嘴视频 — AI视频神器✅

🔴 开篇

大人该学的AI视频神器 -> 语种翻译+音色克隆+唇形同步

可能gap在家歇一歇，可能想谋求副业发展，现在自由职业做视频很多，那么如何利用AI工具搞自媒体呢？相信你在网络上看到过这种视频，泰勒操着一口流利的中文回答记者的访谈，七十二家房客炳叔唱跳楼机...

这些视频，把原视频的语音翻译成其他语种（或歌曲），嘴型也对标上该语种（或歌曲），让翻译后的语音和人物的嘴部动作完美匹配，使得嘴部动作看起来更加自然，更加舒服，这种叫语音翻译+嘴型校准。

那么下面来介绍一下达到同样效果的视频AI工具。

这里我就拿这一个视频来做原模板（由于抖音和西瓜合并了，暂时插不了视频，由gif来展示）：

🔴 有条件的免费

🔻 Heygen

Heygen地址

📣Heygen ：

1、🎬生成数字人 ：无需真人出镜，传字幕和语音上去，就可以生成支持多种语言和口型同步的视频。

2、🌍多语言 翻译：很多语种，还能自动校准口型。

3、👥自定义风格：不同年龄、性别、风格的AI数字人虚拟形象。

4、🎤语音克隆：模仿克隆声音。

5、💼模板化：提供不同场景，不同行业的视频模板。

一开始注册，有一个免费的积分，可以做1次一分钟以内的视频。

入口如下：

配置如下：

由英文翻译成中文的嘴型和音色的视频如下：

嘴型完全对上中文，就跟他的母语就是中文。

🔻 Rask

Rask地址

可免费搞2个视频。

📣Rask :

1、🌍视频翻译与配音：支持将视频或音频从 130+ 种语言翻译成 60+ 种目标语言，并自动生成匹配的语音配音。

2、🎤语音克隆 ：可克隆原视频中的说话人声音，使翻译后的配音听起来更自然，保留原声特色。

3、👥多说话人 检测：自动识别视频中的多个说话者，并分别进行翻译和配音。

4、📝自动字幕 生成：为视频生成多语言字幕，提高可访问性。

5、👄口型同步（Lip-Sync）：确保翻译后的语音与视频人物的口型匹配，提升观看体验。

🔻 Synclabs

Synclabs地址

Synclabs ： 1、👄唇形同步 ：自动调整视频中人物的口型，使其与新的配音或翻译后的音频完美匹配。支持多语言，确保翻译后的语音与口型自然对齐。

2、🎤语音克隆 ：可克隆原视频中的说话人声音，使配音更自然，保留原声特色。

3、👥多说话人 检测：自动识别视频中的多个说话者，并分别进行语音同步处理。

4、📝自动字幕生成：为视频生成多语言字幕，提高可访问性。

🔴 完全免费

🔻 Wav2Lip

Wav2Lip地址 :

1、github

2、Colab

以下是 Wav2Lip 在 Google Colab 上的使用步骤，适用于快速生成唇形同步视频：

准备 Google Colab 环境

1.访问 Google Colab

打开 Google Colab

选择 "新建笔记本" 或 "上传笔记本"（如果有现成的 Wav2Lip Colab 脚本）

2.设置 GPU 加速

点击 "运行时" → "更改运行时类型"

选择 "GPU"（推荐 T4 或更高）

安装 Wav2Lip 及依赖

在 Colab 单元格中运行以下代码：

python 复制代码

!git clone https://github.com/Rudrabha/Wav2Lip.git
%cd Wav2Lip
!pip install -r requirements.txt

这会克隆官方 Wav2Lip 仓库并安装必要的 Python 依赖。

下载预训练模型

运行以下命令下载 Wav2Lip 模型：

python 复制代码

!wget "https://github.com/Rudrabha/Wav2Lip/releases/download/models/wav2lip.pth" -O "checkpoints/wav2lip.pth"
!wget "https://github.com/Rudrabha/Wav2Lip/releases/download/models/wav2lip_gan.pth" -O "checkpoints/wav2lip_gan.pth"

wav2lip.pth（高精度唇同步）
wav2lip_gan.pth（视觉效果更好，但同步稍弱）。

上传视频和音频

1.准备文件：
视频（.mp4）：建议 720p，清晰人脸
音频（.wav 或 .mp3）：需与视频时长匹配

2.上传到 Colab：

python 复制代码

from google.colab import files
uploaded = files.upload()  # 选择文件上传

或使用 !wget 下载示例文件。

运行 Wav2Lip 合成

执行以下命令生成唇同步视频：

python 复制代码

!python inference.py \
    --checkpoint_path "checkpoints/wav2lip.pth" \
    --face "your_video.mp4" \
    --audio "your_audio.wav" \
    --outfile "output.mp4"

参数说明：

--face：输入视频路径
--audio：目标音频
--outfile：输出文件名。

下载结果

生成完成后，下载视频：

python 复制代码

from google.colab import files
files.download("output.mp4")

🔻 VideoReTalking

VideoReTalking地址 :

1、github

2、Colab

以下是 VideoReTalking 在 Google Colab 上的使用步骤，帮助您快速实现音频驱动的视频口型同步：

准备 Colab 环境

1.打开 Google Colab

访问 Google Colab

2.启用 GPU 加速

点击 "运行时" → "更改运行时类型"

选择 GPU（推荐 T4 或更高）

安装依赖与下载模型

在 Colab 单元格中运行以下代码：

python 复制代码

!git clone https://github.com/OpenTalker/video-retalking.git
%cd video-retalking
!pip install -r requirements.txt

克隆官方仓库并安装依赖（需注意 dlib 可能需额外安装 cmake）

下载预训练模型：

python 复制代码

!wget "https://github.com/OpenTalker/video-retalking/releases/download/v0.0.1/checkpoints.zip" -O "checkpoints.zip"
!unzip checkpoints.zip

模型包含表情编辑、口型同步和面部增强模块

上传视频与音频

1.准备文件：
视频（.mp4）：建议 720p 以上，清晰人脸
音频（.wav 或 .mp3）：时长需与视频匹配

2.上传到 Colab：

python 复制代码

from google.colab import files
uploaded = files.upload()  # 选择文件上传

或使用 !wget 下载示例文件

运行推理

执行以下命令生成口型同步视频：

python 复制代码

!python inference.py \
    --face "your_video.mp4" \
    --audio "your_audio.wav" \
    --outfile "output.mp4"

参数说明 ：
--face：输入视频路径
--audio：目标音频
--outfile：输出文件名

下载结果

生成完成后下载视频：

python 复制代码

from google.colab import files
files.download("output.mp4")

🔴 总结

AI 如轮，碾过时光的辙痕，永不停歇。