推荐2个分离人声和背景伴奏的工具:urv5和vocal-separate

在进行声音训练任务时,需要搜集一定数量的声音样本,比如自己的录音、从影音文件中截取的片段,而这些文件总避免不了存在背景噪声或者音乐伴奏等,如果不提前去除,会极大影响训练效果。

有的声音训练项目会自带背景音分离功能,比如 GPT-SoVITS ,自带基于uvr5的分离功能,可以提前对声音样本消除背景声,但更多的则是不附带,需要自行提前处理。

另外在音频转文字任务中,背景噪声或伴奏也会对识别效果产生影响,要获得更精确的效果也需要提前去除音频中的背景伴奏。

使用GPT-SoVITS训练真假难辨的说话声

语音识别模型哪家强,faster-whisper还是openai-whisper

推荐2个用于人声背景音分离的工具

一是 vocal-separate: 基于spleeter 实现的本地离线人声背景音分离工具,windows下有预打包版,解压双击可用,Mac/Linux下需源码部署。中文界面,使用非常简单,支持直接处理视频,速度较快。

二是Ultimate Vocal Remover: 这是uvr5的桌面GUI版,Windows下需要安装到C盘下,否则容易出问题,英文界面,选项较多,操作相对复杂,但功能也更强,效果更好。


vocal-separate 安装和使用

1. Windows上首先去这里下载预打包版,其他系统拉取源码部署。 github.com/jianchang51...

2. 下载后解压,双击 start.exe ,等待自动打开浏览器页面,如果出现下图类似报错,无需担心,这只是提醒无法GPU加速,不影响使用

启动成功后会打开如下浏览器页面

3. 如上图所示,拖拽或点击上传想分离出单独人声的音频或视频,视频在上传后会自动转为音频然后再处理。

从模型中选择"2stems",将把上传的文件分离为人声和其他声音2个文件。

当然也可以选择 4stems 和 5stems 模型,它们除了分离出人声外,还会将其他声音细分为"鼓声""贝斯声"等文件,一般情况下只使用 2stems 即可。

可在网页中试听分离结果,点击下载或者直接去显示的分离结果目录下找到分离文件,人声文件名称为 vocals.wav ,其他声音文件名为 accompaniment.wav

就这么简单。


Ultimate Vocal Remover 安装和使用

1. 首先去这里 github.com/Anjok07/ult... 下载

windows版也可点此链接直接下载,下载后双击该exe文件,一路next即完成安装 github.com/Anjok07/ult...

2. 安装完成后,双击桌面图标启动。

3. 如下图所示,选择要处理的音频文件,并设置输出结果目录,选择要处理的模型,比特率等各种选项,除了"Select Input"和"Select Output" 其他都是非必选,保持默认即可。

"Select Input":点即它选择要处理的音频文件,

"Select Output":点击它选择处理后的文件保存到哪里。

"CHOOSE PROCESS MEHTODS":选择处理方法,默认 MDX-Net,这个效果应该是最好的,保持默认即可。

"CHOOSE MDX-NET MODEL": 上面方法所对应要使用的模型,如果不是"MDX-Net"方法,需要额外下载模型。

"Start Processing": 选择完毕后的启动执行按钮,点击它开始执行分离操作,等待提示完成。

相关推荐
华研前沿标杆游学21 分钟前
企业标杆游学|走进东莞OPPO总部✨探秘智造与品牌出海
python
大侠归来27 分钟前
C语言内存管理:从栈到堆的完整指南
c语言·开发语言·python
LOVE️YOU43 分钟前
Python 数据结构的本质:位置、对象引用、Hash 与可变性
数据结构·python·哈希算法
李航19831 小时前
自动动手开发图形引擎,不仅能AI建模,还能AI渲染
人工智能·python·计算机视觉·ai·ai编程
LeoCrawls1 小时前
Python 读取 JSON 常见报错排查,附完整处理函数
python·json·php
zzZ··*1 小时前
CodeBuddy 用量看板:本地解析 Token 与积分消耗,不联网不上传
python·vue·ai编程
小猴子爱上树1 小时前
跨马翻译:批量图片翻译+视频字幕+智能抠图一站式工具
python·音视频
小朱爱编程1232 小时前
我用 Jev 做了三个实用工具:整理标签页、分诊飞书反馈、找回 GitHub 收藏
java·开发语言·人工智能·后端·python·架构·ai编程
TomEval2 小时前
【测AI】第06篇:数据清洗实战 —— Pandas 处理爬取的 JD 数据
人工智能·python·自动化·aigc·pandas
全栈练习生2 小时前
大模型反向传播与梯度下降
python·ai