17K star!30秒偷走你的声音,开源声音克隆工具

现在的AI发展越来越快,生成一段语音不是难事,那如果生成的是你自己的声音,你觉得如何?

今天我们分享一款开源的声音克隆工具,只需30秒的一般音源,他就可以偷走你的声音,它就是:OpenVoice。

OpenVoice 是什么

OpenVoice 是由AI 创业公司 openshell 开源的一款声音克隆工具。OpenVoice 只需要来自目标说话者的简短音频样本即可准确复制其独特的声调和特征。然后,它可以生成听起来自然的语音,以多种语言模仿该语音,同时为用户提供对情感、口音、节奏和语调等参数的精细控制。

用户只需要提供一段大约30秒的音频样本,可以是任何人的声音,然后系统会通过深度学习技术对音频进行分析和处理,精确地克隆出原声音。

OpenVoice 的优势有三个方面:

1. 准确的音色克隆。 OpenVoice 可以准确克隆参考音色并生成多种语言和口音的语音。

2.灵活的音色控制。 OpenVoice 可以对语音风格(例如情感和口音)以及其他风格参数(包括节奏、停顿和语调)进行精细控制。

3.零样本跨语言语音克隆。 生成语音的语言和参考语音的语言都不需要出现在大规模说话人多语言训练数据集中。

更多详细可以查看OpenVoice团队的论文和网站介绍。

论文:arxiv.org/abs/2312.01...

网站:research.myshell.ai/open-voice

安装 OpenVoice

OpenVoice 通过3个在线渠道提供了服务,可以为不关注稳定性和质量、只是希望快速体验一下产品的用户提供服务。3个网站分别是:LeptonAI、MyShell和HuggingFace

当然如果你觉得自己技术能力足够,熟悉Linux, Python 和 PyTorch,并且有服务器资源,那可以自己在Linux上进行安装部署。前置需要安装conda,大家自己在网上搜一下即可,不是很复杂。

bash 复制代码
conda create -n openvoice python=3.9
conda activate openvoice
git clone git@github.com:myshell-ai/OpenVoice.git
cd OpenVoice
pip install -e .

然后下载checkpoints,并解压到对应的文件夹。这个安装过程在Mac上也同样适用。

启动完成后,可以访问http://127.0.0.1:7860来使用。

使用 OpenVoice

项目组说体验OpenVoice最方便的方法是直接使用MyShell中免费的TTS和即时语音克隆服务.

MyShell 是一个AI的集合,里面提供了很多的AI工具,比如文生图、语音、视频等。使用的时候需要自己创建一个机器人,然后来使用OpenVoice的能力,大家可以自己去体验一下。

另外也可以用HuggingFace的体验地址,这里的使用界面和自己本地部署是基本一致的。

Text Prompt

将需要转音频的文字写在这里

Style

可以根据需要选择语气。

Reference Audio

这里是参考音频,也就是我们希望克隆的声音

转换音频

写好文字,选好语气,就可以开始生成了。右侧会产生出新的音频。

在线的环境中主要是对英文的支持,中文支持不太好,OpenVoice实际是支持多语言的,在实际使用时只需安装对应的模型即可。

总结

OpenVoice 是一项技术,而不是一个产品。项目希望可以通过不断的努力,让免费的声音克隆也能像商业产品一样优秀。虽然如果使用正确的话它可以在大多数声音上工作,但请不要指望它在所有情况下都能完美工作,因为将一项技术转化为稳定的产品需要大量的工程工作。该技术的目标用户是开发人员和研究人员,而不是最终用户。虽然它不是完美的产品,但OpenVoice 是可用开源语音克隆技术中最先进的。

项目信息

相关推荐
冬奇Lab3 分钟前
DeepSeek Harness 系列(05):Session 与记忆——对话历史是怎么活下来的
人工智能
DogDaoDao3 分钟前
SimToolReal 解读:用“物体中心“视角重新定义灵巧工具操作
人工智能·机器人·github·关键点·人形机器人·gpt-4o·simtoolreal
冬奇Lab9 分钟前
一天一个开源项目(第216篇):OpenViking - 给 AI Agent 装上可自进化的上下文数据库
人工智能·开源·资讯
一切皆是因缘际会14 分钟前
从存量释放
人工智能
Xuantong_9018 分钟前
从 0 到 1 搭建本地 AI 工作环境:我的完整方案与经验总结
人工智能
晓窗科技30 分钟前
口碑好的AI基座服务商
大数据·人工智能·python
一航jason35 分钟前
Android平台推理框架及试用场景模型对比
android·人工智能·ai·架构·ai编程·llama
IT·陈寒37 分钟前
Redis内存暴涨时,我忘记检查这个参数
人工智能·大模型·api·创业·变现·简历优化
东鸿电子Eastron37 分钟前
AI 算力爆发,数据中心能源管理系统(EMS)正在经历什么?
人工智能·数据中心·智能电表·ai 算力·多回路计量·智能计量
DeepAgent40 分钟前
AI Agent 开发实战(14):AI Agent 开发工具推荐
人工智能·agent