刚刚开源的新型TTS模型:Zonos!最低5s即可克隆高质量语音!

近期又发现一款刚开源的新型高保真 TTS 模型:Zonos。开源不到5天,已经在 GitHub 上收获了 1.1k 标星。

无论是快速生成特定情绪的语音,还是精准地模拟特定人的语音,它都能轻松搞定。

而且它不同于其他 TTS 模型,虽然大部分训练数据为英文,但还有大量的中文、日语等其他语言,在中文的支持性上要好一些。

目前提供了两种1.6B模型---Transformer 和 SSM,其中 SSM 模型是首个可用于TTS(文本到语音)的开源模型,它凭借其独特的结构,使得语音生成的质量和多样性更上一层楼。

能够根据 5 到 30 秒的语音片段进行高保真语音克隆。

还可以根据说话速度、音高标准差、音频质量和悲伤、恐惧、愤怒、快乐和惊讶等情绪进行条件化。

核心亮点

  • 高保真语音克隆:通过输入5到30秒的语音样本进行高保真的语音克隆。

  • 多语言支持:支持英语、日语、中文、法语和德语。

  • 情绪调节与语音定制:提供了多种语音定制选项,包括音高、语速、音质和情绪等方面。

  • 前缀匹配与说话人定制:通过添加文本和音频前缀,能实现更精细的说话人匹配效果。

  • 超高性能与实时生成:在性能方面表现得非常突出,特别是在 RTX 4090 显卡上运行时,实时率约为2倍。

  • 内置简易界面:Zonos 内置了一个易于使用的 gradio 界面,用于生成语音。

轻松上手,快速体验

Zonos的使用并不复杂,对于小白用户来说,可以直接体验测试版。

Beta 地址1:playground.zyphra.com/audio

Beta 地址2:maia.zyphra.com/audio

对于开发者来说,安装也十分简便。可通过 Docker 快速部署。

bash 复制代码
git clone https://github.com/Zyphra/Zonos.git
cd Zonos

# For gradio
docker compose up

# Or for development you can do
docker build -t Zonos .
docker run -it --gpus=all --net=host -v /path/to/Zonos:/Zonos -t Zonos
cd /Zonos
python sample.py # this will generate a sample.wav in /Zonos

Python 用法:

ini 复制代码
import torch
import torchaudio
from zonos.model import Zonos
from zonos.conditioning import make_cond_dict

# model = Zonos.from_pretrained("Zyphra/Zonos-v0.1-hybrid", device="cuda")
model = Zonos.from_pretrained("Zyphra/Zonos-v0.1-transformer", device="cuda")

wav, sampling_rate = torchaudio.load("assets/exampleaudio.mp3")
speaker = model.make_speaker_embedding(wav, sampling_rate)

cond_dict = make_cond_dict(text="Hello, world!", speaker=speaker, language="en-us")
conditioning = model.prepare_conditioning(cond_dict)

codes = model.generate(conditioning)

wavs = model.autoencoder.decode(codes).cpu()
torchaudio.save("sample.wav", wavs[0], model.autoencoder.sampling_rate)

写在最后

Zonos 凭借其卓越的语音生成质量、创新的功能设置和对中文的支持,展现了强大潜力。

从个性化语音助手到高保真语音克隆,从灵活的情绪调节到快速的实时生成,每一项功能都在推动语音技术向前发展。

无论你是开发者、创作者还是企业,Zonos 都能为你提供创新的语音解决方案,帮助你打造更具沉浸感和互动性的语音体验。

GitHub 项目地址:github.com/Zyphra/Zono...

模型地址:huggingface.co/Zyphra/Zono...

相关推荐
千宇宙航6 分钟前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco34 分钟前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
Leinwin2 小时前
微软开源GitHub Copilot Chat,AI编程领域迎新突破
microsoft·github·copilot
jndingxin3 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦4 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988944 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03274 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿5 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手5 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志5 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc