刚刚开源的新型TTS模型:Zonos!最低5s即可克隆高质量语音!

近期又发现一款刚开源的新型高保真 TTS 模型:Zonos。开源不到5天,已经在 GitHub 上收获了 1.1k 标星。

无论是快速生成特定情绪的语音,还是精准地模拟特定人的语音,它都能轻松搞定。

而且它不同于其他 TTS 模型,虽然大部分训练数据为英文,但还有大量的中文、日语等其他语言,在中文的支持性上要好一些。

目前提供了两种1.6B模型---Transformer 和 SSM,其中 SSM 模型是首个可用于TTS(文本到语音)的开源模型,它凭借其独特的结构,使得语音生成的质量和多样性更上一层楼。

能够根据 5 到 30 秒的语音片段进行高保真语音克隆。

还可以根据说话速度、音高标准差、音频质量和悲伤、恐惧、愤怒、快乐和惊讶等情绪进行条件化。

核心亮点

  • 高保真语音克隆:通过输入5到30秒的语音样本进行高保真的语音克隆。

  • 多语言支持:支持英语、日语、中文、法语和德语。

  • 情绪调节与语音定制:提供了多种语音定制选项,包括音高、语速、音质和情绪等方面。

  • 前缀匹配与说话人定制:通过添加文本和音频前缀,能实现更精细的说话人匹配效果。

  • 超高性能与实时生成:在性能方面表现得非常突出,特别是在 RTX 4090 显卡上运行时,实时率约为2倍。

  • 内置简易界面:Zonos 内置了一个易于使用的 gradio 界面,用于生成语音。

轻松上手,快速体验

Zonos的使用并不复杂,对于小白用户来说,可以直接体验测试版。

Beta 地址1:playground.zyphra.com/audio

Beta 地址2:maia.zyphra.com/audio

对于开发者来说,安装也十分简便。可通过 Docker 快速部署。

bash 复制代码
git clone https://github.com/Zyphra/Zonos.git
cd Zonos

# For gradio
docker compose up

# Or for development you can do
docker build -t Zonos .
docker run -it --gpus=all --net=host -v /path/to/Zonos:/Zonos -t Zonos
cd /Zonos
python sample.py # this will generate a sample.wav in /Zonos

Python 用法:

ini 复制代码
import torch
import torchaudio
from zonos.model import Zonos
from zonos.conditioning import make_cond_dict

# model = Zonos.from_pretrained("Zyphra/Zonos-v0.1-hybrid", device="cuda")
model = Zonos.from_pretrained("Zyphra/Zonos-v0.1-transformer", device="cuda")

wav, sampling_rate = torchaudio.load("assets/exampleaudio.mp3")
speaker = model.make_speaker_embedding(wav, sampling_rate)

cond_dict = make_cond_dict(text="Hello, world!", speaker=speaker, language="en-us")
conditioning = model.prepare_conditioning(cond_dict)

codes = model.generate(conditioning)

wavs = model.autoencoder.decode(codes).cpu()
torchaudio.save("sample.wav", wavs[0], model.autoencoder.sampling_rate)

写在最后

Zonos 凭借其卓越的语音生成质量、创新的功能设置和对中文的支持,展现了强大潜力。

从个性化语音助手到高保真语音克隆,从灵活的情绪调节到快速的实时生成,每一项功能都在推动语音技术向前发展。

无论你是开发者、创作者还是企业,Zonos 都能为你提供创新的语音解决方案,帮助你打造更具沉浸感和互动性的语音体验。

GitHub 项目地址:github.com/Zyphra/Zono...

模型地址:huggingface.co/Zyphra/Zono...

相关推荐
jndingxin1 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
Sweet锦1 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988942 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03272 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手2 小时前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志3 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界3 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield3 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦3 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt