AI翻唱+视频剪辑全流程实战

目录

一、AI翻唱之模型训练

(1)模型部署

(2)数据集制作------搜集素材

(3)数据集制作------提升音频质量

方法一:使用RVC提供的音频处理功能。

[方法二:可以使用音频剪辑工具Adobe Audition](#方法二:可以使用音频剪辑工具Adobe Audition)

(4)训练

二、AI翻唱之模型推理

三、视频剪辑


前言:从0到1,忙碌了三天,剪了三个视频,其中两个放在了B站(星铁新角色知更鸟翻唱Love Story和Mr. Wonderful),第三个是四个原神角色合唱孤勇者:【知更鸟】Love Story_哔哩哔哩_bilibili

【知更鸟】Mr. Wonderful_哔哩哔哩_bilibili

一、AI翻唱之模型训练

(1)模型部署

我使用的是RVC,也可以使用so-vits-svc

这里分别提供了Nvida显卡和AMD显卡支持的版本

链接:https://pan.baidu.com/s/1vtw_gRCIUdDjPH9cELjVkw?pwd=bi3r

提取码:bi3r

以Nvida显卡为例,分别下载"RVC1006Nvidia"和"0128补丁"压缩包,分别解压后,复制"0128补丁"内容粘贴到"RVC1006Nvidia"文件夹进行替换

之后,直接点击go-web.bat运行即可。(需要电脑安装好CUDA,安装步骤不再赘述)

(2)数据集制作------搜集素材

方法一:从网上查找现成音频数据集(如github)

方法二:从B站下载音视频制作。

这里推荐使用DownKyi(哔哩下载姬),在此提供了三个版本。

链接:https://pan.baidu.com/s/1Kyc_cbYL7cIbwFTpXrDVdA?pwd=saq7

提取码:saq7

1.5.9可能存在B站用户无法登陆问题;1.6.1可以登录然后下载高清视频,但是使用过程中出现无法解析的问题。一种解决方案是登录在1.6.1中账号登录后,将1.5.9文件夹内容复制到1.6.1。

另一种方案是直接使用DownKyi-1.0.10-1.win-x64

(3)数据集制作------提升音频质量

由于视频中可能出现背景音或其他不属于角色的杂音,这时就需要进行背景音处理。

方法一:使用RVC提供的音频处理功能。

直接将原始音频文件拖到上图中左下角红框内,然后点击模型选择HP3,点击转换;

转换后的结果再次放入上图中左下角红框内,点击模型选择onnx_dereverb,点击转换;

也可继续进行别的处理,每个模型的说明见上图。

方法二:可以使用音频剪辑工具Adobe Audition

安装步骤见我的另一篇博客:

Adobe Audition 2024 下载与安装-CSDN博客

处理背景音:

  1. 选中一段不含人声的背景音
  1. 在"效果"栏中选择"降噪/恢复"中的"降噪(处理)"
  1. 点击"捕捉噪声样本",然后点击"选择完整文件",最后点击"应用"就可以啦

(4)训练

  1. 输入实验名(自拟),然后选择音频目标采样率(一般为40k),其他保持默认 ,点击"处理数据"即可。(此步骤是将音频剪切成数个短节,"输出信息"栏会提示进程结束)
  1. 根据自身情况选择音高提取算法(输入歌声可用pm提速,高质量语音但CPU差可用dio提速,harvest质量更好但慢,rmvpe效果最好且微吃CPU/GPU),之后点击"特征提取"("输出信息"栏会提示进程结束)
  1. 根据自身显卡性能选择"保存频率"、"总训练轮数"和"每张显卡的batch_size"(显卡不太行的建议设置低一点),其他保持默认,点击"一键提取"("输出信息"栏会提示进程结束)

二、AI翻唱之模型推理

  1. 切换到"模型推理"界面,在"推理音色"上选择上面步骤一训练好的模型权重文件;

也可以在网上直接下载别人已经训练好的模型,将.pth文件放在 RVC\assets\weights 目录下,将索引.index文件放在 logs 目录或logs下面的文件夹皆可。

  1. 输入待处理音频文件路径,即需要模拟的声音或歌曲文件所在的路径。

  2. 输入索引index路径。

  3. 根据 下图中蓝色部分的说明适当进行调整,即可点击"转换"开始模型推理。

三、视频剪辑

一个好的视听盛宴当然离不开视频剪辑啦。推荐使用PR进行剪辑,当然也可以使用"剪映"这个软件也比较方便。

PR安装与下载方法,可见:Adobe Premiere Pro安装-CSDN博客

该版本的字幕如果无法自动由音频转文字(建议支持正版! ),可以使用网易见外工作台 (youdao.com)这个网站进行操作,导出字幕文件后添加到PR即可。在PR内可以拖动字幕来调整出现时间。

相关推荐
果冻人工智能35 分钟前
2025 年将颠覆商业的 8 大 AI 应用场景
人工智能·ai员工
代码不行的搬运工36 分钟前
神经网络12-Time-Series Transformer (TST)模型
人工智能·神经网络·transformer
石小石Orz38 分钟前
Three.js + AI:AI 算法生成 3D 萤火虫飞舞效果~
javascript·人工智能·算法
孤独且没人爱的纸鹤1 小时前
【深度学习】:从人工神经网络的基础原理到循环神经网络的先进技术,跨越智能算法的关键发展阶段及其未来趋势,探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
阿_旭1 小时前
TensorFlow构建CNN卷积神经网络模型的基本步骤:数据处理、模型构建、模型训练
人工智能·深度学习·cnn·tensorflow
羊小猪~~1 小时前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
极客代码1 小时前
【Python TensorFlow】进阶指南(续篇三)
开发语言·人工智能·python·深度学习·tensorflow
zhangfeng11331 小时前
pytorch 的交叉熵函数,多分类,二分类
人工智能·pytorch·分类
Seeklike1 小时前
11.22 深度学习-pytorch自动微分
人工智能·pytorch·深度学习
庞传奇1 小时前
TensorFlow 的基本概念和使用场景
人工智能·python·tensorflow