VoxCPM2：无分词的多语言语音合成新时代

VoxCPM2是一个革命性的无分词文本转语音（TTS）系统，它采用了最先进的自回归扩散架构，直接生成连续的语音表示，使得合成的语音更自然、更具表现力。以下将详细介绍VoxCPM2的消声功能、创造性的声音设计以及真实音色克隆的应用场景和具体使用方法。

功能亮点

🌍 30种语言的多语言支持

VoxCPM2支持30种语言，无需语言标签，用户只需输入文本，即可直接进行合成。支持的语言包括阿拉伯语、英语、中文、法语、德语等，极大地方便了全球用户的使用。

🎨 创意声音设计

这一独特功能允许用户仅通过自然语言描述创建全新的声音，无需参考音频。例如，可以指定性别、年龄、语气、情感和语速等。以下是一个示例代码：

python 复制代码

wav = model.generate(
    text="(一位年轻女性，温柔而甜美的声音)你好，欢迎使用VoxCPM2！",
    cfg_value=2.0,
    inference_timesteps=10,
)
sf.write("voice_design.wav", wav, model.tts_model.sample_rate)

🎛️ 可控音色克隆

用户可以上传一个参考音频，VoxCPM2能够克隆该声音的音色。同时，用户还可以通过控制指令调整语速、情感或风格，进一步定制生成的声音。例如：

python 复制代码

wav = model.generate(
    text="这是一个通过VoxCPM2生成的克隆声音。",
    reference_wav_path="path/to/voice.wav",
)
sf.write("clone.wav", wav, model.tts_model.sample_rate)

wav = model.generate(
    text="(稍快，愉快的语气)这是一个带风格控制的克隆声音。",
    reference_wav_path="path/to/voice.wav",
    cfg_value=2.0,
    inference_timesteps=10,
)
sf.write("controllable_clone.wav", wav, model.tts_model.sample_rate)

🎙️ 终极克隆

通过提供参考音频和准确的转录文本，用户可以体验到音频延续的克隆，每一个声调细节都能被高度重现。代码示例如下：

python 复制代码

wav = model.generate(
    text="这是一个使用VoxCPM2进行终极克隆的演示。",
    prompt_wav_path="path/to/voice.wav",
    prompt_text="参考音频的转录内容。",
    reference_wav_path="path/to/voice.wav", # 可选，以获得更好的相似性
)
sf.write("hifi_clone.wav", wav, model.tts_model.sample_rate)

实时流媒体

VoxCPM2还支持实时生成，可以以低延迟将文本转换为语音。以下是实时流API的示例代码：

python 复制代码

import numpy as np

chunks = []
for chunk in model.generate_streaming(
    text="通过VoxCPM流式文本到语音是简单的！",
):
    chunks.append(chunk)
wav = np.concatenate(chunks)
sf.write("streaming.wav", wav, model.tts_model.sample_rate)

安装与使用

安装

您可以通过以下命令轻松安装VoxCPM2：

sh 复制代码

pip install voxcpm

Python API

下面是生成语音的基本步骤：

python 复制代码

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained(
  "openbmb/VoxCPM2",
  load_denoiser=False,
)

wav = model.generate(
    text="VoxCPM2是当前推荐的现实多语言语音合成版本。",
    cfg_value=2.0,
    inference_timesteps=10,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)
print("保存完毕: demo.wav")

CLI使用

用户还可以通过命令行界面（CLI）使用VoxCPM2的功能，命令行步骤如下：

bash 复制代码

# 设计声音（无需参考音频）
voxcpm design \
  --text "VoxCPM2带来录音室级别的多语言语音合成。" \
  --output out.wav

# 用于可控声音克隆的命令
voxcpm clone \
  --text "这是一个声音克隆演示。" \
  --reference-audio path/to/voice.wav \
  --output out.wav

Web Demo

通过启动Web应用，用户可以现场测试功能：

bash 复制代码

python app.py --port 8808  # 然后在浏览器中打开：http://localhost:8808

性能表现

VoxCPM2在众多公共基准测试中表现优异。它在多语言的识别和合成任务中具有竞争力，验证了其在实际应用中的有效性。

风险与限制

尽管VoxCPM2拥有强大的功能，但使用时仍需遵循道德标准。我们不建议使用VoxCPM2进行冒充、欺诈或传播虚假信息之类的活动。

类似项目

在开源领域，还有几个类似的项目，提供了与VoxCPM2相似的功能。例如：

Tacotron 2：这一模型结合了深度学习技术来生成高度自然的语音合成。
FastSpeech：这是一个基于 Transformer 的语音合成模型，能够以更快的速度生成音频。
WaveNet：Google 的音频合成技术，使用深度神经网络，能够生成高保真的音频效果。

通过详细的示例和应用说明，VoxCPM2展现了其强大而灵活的功能，成为开发人员和内容创作者的有力工具。您只需尝试，就能体验无与伦比的多语言语音合成能力。