【MOSS-TTS】一款适用于实际应用的TTS基础模型
- [1. 介绍](#1. 介绍)
- [2. 快速上手](#2. 快速上手)
- [3. 评价](#3. 评价)
【ModelScope】 【github】 【huggingface】 【Blog】
1. 介绍
MOSS‑TTS 家族 是由 MOSI.AI 与 OpenMOSS 团队 推出的开源 语音与声音生成模型家族 。
MOSS-TTS是一款新一代、适用于实际应用的TTS基础模型，专注于：
- 声音克隆（voice cloning）
- 超长稳定语音生成（ultra-long stable speech generation）
- 词元级时长控制（token-level duration control）
- 多语言及混合语码合成（multilingual & code-switched synthesis）
- 精细的拼音/音素级发音控制（fine-grained Pinyin/phoneme-level pronunciation control）
模型
| Model | Architecture | Size | Hugging Face | ModelScope |
|---|---|---|---|---|
| MOSS-TTS | MossTTSDelay |
8B | 【MOSS-TTS】 | 【MOSS-TTS】 |
MossTTSLocal |
1.7B | 【MOSS-TTS-Local】 | 【MOSS-TTS-Local】 | |
| MOSS-Audio-Tokenizer | Cat |
1.6B | 【MOSS-Audio-Tokenizer】 | 【MOSS-Audio-Tokenizer】 |
支持的语言
MOSS-TTS目前支持 20 种语言：
| Language | Code | Flag | Language | Code | Flag | Language | Code | Flag |
|---|---|---|---|---|---|---|---|---|
| 中文 | zh | 🇨🇳 | 英语 | en | 🇺🇸 | 德语 | de | 🇩🇪 |
| 西班牙语 | es | 🇪🇸 | 法语 | fr | 🇫🇷 | 日语 | ja | 🇯🇵 |
| 意大利语 | it | 🇮🇹 | 匈牙利语 | hu | 🇭🇺 | 韩语 | ko | 🇰🇷 |
| 俄语 | ru | 🇷🇺 | 波斯语（法尔西语） | fa | 🇮🇷 | 阿拉伯语 | ar | 🇸🇦 |
| 波兰语 | pl | 🇵🇱 | 葡萄牙语 | pt | 🇵🇹 | 捷克语 | cs | 🇨🇿 |
| 丹麦语 | da | 🇩🇰 | 瑞典语 | sv | 🇸🇪 | 匈牙利语 | hu | 🇭🇺 |
| 希腊语 | el | 🇬🇷 | 土耳其语 | tr | 🇹🇷 |
2. 快速上手
环境配置
bash
conda create -n moss-tts python=3.12
conda activate moss-tts安装所有依赖:
bash
git clone https://github.com/OpenMOSS/MOSS-TTS.git
cd MOSS-TTS
pip3 install --extra-index-url https://download.pytorch.org/whl/cu128 -e .
#如果失败可以使用下面使用镜像源
pip3 install -i https://mirrors.aliyun.com/pypi/simple/ -e .(可选) 安装 FlashAttention 2
如果你的硬件支持，可以安装 FlashAttention 2 以提升速度并降低显存占用。
bash
pip3 install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[flash-attn]"如果机器内存较小、CPU 核数较多，可以限制并行编译数：
bash
MAX_JOBS=4 pip3 install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[flash-attn]"如果安装失败可采用以下方式
- 访问https://github.com/Dao-AILab/flash-attention/releases/，确认版本，下载whl文件
例如：flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl
| 片段 | 含义 | 详细说明 |
|---|---|---|
| flash_attn-2.8.3 | 包名 | 这个 wheel 包是 FlashAttention， 版本是 2.8.3 |
| cu12 | CUDA 版本 | cu12 表示适配 CUDA 12.x 版本 |
| torch2.8 | PyTorch 版本 | 适配 PyTorch 2.8 版本 |
| cxx11abiFALSE | C++ ABI 兼容模式 | cxx11abi=FALSE 表示使用 非 C++11 ABI 编译（一般选择False） |
| cp312 | Python 版本 | cp312 表示适配 Python 3.12 |
| linux_x86_64 | 系统架构 | 适配 Linux 系统 + x86_64（64 位 Intel/AMD 处理器） |
- 确认并修改对应的torch版本
- 安装
bash
pip3 install flash_attn-2.8.3+cu12torch2.8cxx11abiFALSE-cp312-cp312-linux_x86_64.whl -i https://mirrors.aliyun.com/pypi/simple/
cd MOSS-TTS
pip3 install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[flash-attn]"说明：
- 如果 FlashAttention 2 编译失败，可以跳过，直接使用默认 attention 后端。
- FlashAttention 2 仅支持部分 GPU，通常搭配
torch.float16或torch.bfloat16使用。
运行测试
python
from pathlib import Path
import importlib.util
import torch
import torchaudio
import os
from transformers import AutoModel, AutoProcessor
# Disable the broken cuDNN SDPA backend
torch.backends.cuda.enable_cudnn_sdp(False)
# Keep these enabled as fallbacks
torch.backends.cuda.enable_flash_sdp(True)
torch.backends.cuda.enable_mem_efficient_sdp(True)
torch.backends.cuda.enable_math_sdp(True)
#模型下载
from modelscope import snapshot_download
import os
import shutil
model_dir = snapshot_download('openmoss/MOSS-TTS')
tokenizer_model_dir = snapshot_download('openmoss/MOSS-Audio-Tokenizer')
os.makedirs("OpenMOSS-Team", exist_ok=True)
if not os.path.exists("OpenMOSS-Team/MOSS-Audio-Tokenizer"):
shutil.copytree(tokenizer_model_dir, os.path.join("OpenMOSS-Team", "OpenMOSS-Team/MOSS-Audio-Tokenizer"))
pretrained_model_name_or_path = model_dir
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
def resolve_attn_implementation() -> str:
# Prefer FlashAttention 2 when package + device conditions are met.
if (
device == "cuda"
and importlib.util.find_spec("flash_attn") is not None
and dtype in {torch.float16, torch.bfloat16}
):
major, _ = torch.cuda.get_device_capability()
if major >= 8:
return "flash_attention_2"
# CUDA fallback: use PyTorch SDPA kernels.
if device == "cuda":
return "sdpa"
# CPU fallback.
return "eager"
attn_implementation = resolve_attn_implementation()
print(f"[INFO] Using attn_implementation={attn_implementation}")
processor = AutoProcessor.from_pretrained(
pretrained_model_name_or_path,
trust_remote_code=True,
)
processor.audio_tokenizer = processor.audio_tokenizer.to(device)
text_1 = "亲爱的你，\n你好呀。\n\n今天，我想用最认真、最温柔的声音，对你说一些重要的话。\n这些话，像一颗小小的星星，希望能在你的心里慢慢发光。\n\n首先，我想祝你------\n每天都能平平安安、快快乐乐。\n\n希望你早上醒来的时候，\n窗外有光，屋子里很安静，\n你的心是轻轻的，没有着急，也没有害怕。\n\n希望你吃饭的时候胃口很好，\n走路的时候脚步稳稳，\n晚上睡觉的时候，能做一个又一个甜甜的梦。\n\n我希望你能一直保持好奇心。\n对世界充满问题，\n对天空、星星、花草、书本和故事感兴趣。\n当你问"为什么"的时候，\n希望总有人愿意认真地听你说话。\n\n我也希望你学会温柔。\n温柔地对待朋友，\n温柔地对待小动物，\n也温柔地对待自己。\n\n如果有一天你犯了错，\n请不要太快责怪自己，\n因为每一个认真成长的人，\n都会在路上慢慢学会更好的方法。\n\n愿你拥有勇气。\n当你站在陌生的地方时，\n当你第一次举手发言时，\n当你遇到困难、感到害怕的时候，\n希望你能轻轻地告诉自己：\n"我可以试一试。"\n\n就算没有一次成功，也没有关系。\n失败不是坏事，\n它只是告诉你，你正在努力。\n\n我希望你学会分享快乐。\n把开心的事情告诉别人，\n把笑声送给身边的人，\n因为快乐被分享的时候，\n会变得更大、更亮。\n\n如果有一天你感到难过，\n我希望你知道------\n难过并不丢脸，\n哭泣也不是软弱。\n\n愿你能找到一个安全的地方，\n慢慢把心里的话说出来，\n然后再一次抬起头，看见希望。\n\n我还希望你能拥有梦想。\n这个梦想也许很大，\n也许很小，\n也许现在还说不清楚。\n\n没关系。\n梦想会和你一起长大，\n在时间里慢慢变得清楚。\n\n最后，我想送你一个最最重要的祝福：\n\n愿你被世界温柔对待，\n也愿你成为一个温柔的人。\n\n愿你的每一天，\n都值得被记住，\n都值得被珍惜。\n\n亲爱的你，\n请记住，\n你是独一无二的，\n你已经很棒了，\n而你的未来，\n一定会慢慢变得闪闪发光。\n\n祝你健康、勇敢、幸福，\n祝你永远带着笑容向前走。"
text_2 = "We stand on the threshold of the AI era.\nArtificial intelligence is no longer just a concept in laboratories, but is entering every industry, every creative endeavor, and every decision. It has learned to see, hear, speak, and think, and is beginning to become an extension of human capabilities. AI is not about replacing humans, but about amplifying human creativity, making knowledge more equitable, more efficient, and allowing imagination to reach further. A new era, jointly shaped by humans and intelligent systems, has arrived."
text_3 = "nin2 hao3，qing3 wen4 nin2 lai2 zi4 na3 zuo4 cheng2 shi4？"
text_4 = "nin2 hao3，qing4 wen3 nin2 lai2 zi4 na4 zuo3 cheng4 shi3？"
text_5 = "您好，请问您来自哪 zuo4 cheng2 shi4？"
text_6 = "/həloʊ, meɪ aɪ æsk wɪtʃ sɪti juː ɑːr frʌm?/"
# Use audio from ./assets/audio to avoid downloading from the cloud.
ref_audio_1 = "https://speech-demo.oss-cn-shanghai.aliyuncs.com/moss_tts_demo/tts_readme_demo/reference_zh.wav"
ref_audio_2 = "https://speech-demo.oss-cn-shanghai.aliyuncs.com/moss_tts_demo/tts_readme_demo/reference_en.m4a"
conversations = [
# Direct TTS (no reference)
[processor.build_user_message(text=text_1)],
[processor.build_user_message(text=text_2)],
# Pinyin or IPA input
[processor.build_user_message(text=text_3)],
[processor.build_user_message(text=text_4)],
[processor.build_user_message(text=text_5)],
[processor.build_user_message(text=text_6)],
# Voice cloning (with reference)
[processor.build_user_message(text=text_1, reference=[ref_audio_1])],
[processor.build_user_message(text=text_2, reference=[ref_audio_2])],
# Duration control
[processor.build_user_message(text=text_2, tokens=325)],
[processor.build_user_message(text=text_2, tokens=600)],
]
model = AutoModel.from_pretrained(
pretrained_model_name_or_path,
trust_remote_code=True,
attn_implementation=attn_implementation,
torch_dtype=dtype,
).to(device)
model.eval()
batch_size = 1
save_dir = Path("inference_root")
save_dir.mkdir(exist_ok=True, parents=True)
sample_idx = 0
with torch.no_grad():
for start in range(0, len(conversations), batch_size):
batch_conversations = conversations[start : start + batch_size]
batch = processor(batch_conversations, mode="generation")
input_ids = batch["input_ids"].to(device)
attention_mask = batch["attention_mask"].to(device)
outputs = model.generate(
input_ids=input_ids,
attention_mask=attention_mask,
max_new_tokens=4096,
)
for message in processor.decode(outputs):
audio = message.audio_codes_list[0]
out_path = save_dir / f"sample{sample_idx}.wav"
sample_idx += 1
torchaudio.save(out_path, audio.unsqueeze(0), processor.model_config.sampling_rate)输入类型
UserMessage
| 参数 | 类型 | 是否必要 | 描述 |
|---|---|---|---|
text |
str |
Yes | 待合成文本。支持中文、英文、德文、法文、西班牙文、日文、韩文等语言。可混合原始文本与拼音或IPA以控制发音。 |
reference |
List[str] |
No | 用于语音克隆的参考音频。对于当前的MOSS-TTS系统，列表中应仅包含一个音频文件。 |
tokens |
int |
No | 预期的音频Token数量。 1s ≈ 12.5 tokens. |
AssistantMessage
| 参数 | 类型 | 是否必要 | 描述 |
|---|---|---|---|
audio_codes_list |
List[str] |
仅适用continuation | 用于基于连续内容的克隆的前置音频。可使用音频文件路径或URL。 |
Generation Hyperparameters
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
max_new_tokens |
int |
--- | 控制总生成的音频Token数量。使用时长规则： 1s ≈ 12.5 tokens. |
audio_temperature |
float |
1.7 | 较高的数值会增加变化性；较低的数值则能稳定韵律。 |
audio_top_p |
float |
0.8 | 核采样截止值。数值越低越保守。 |
audio_top_k |
int |
25 | Top-K采样。较低的值会缩小采样范围。 |
audio_repetition_penalty |
float |
1.0 | >1.0有助于避免重复模式。 |
注意：MOSS-TTS是一个预训练的基础模型，对解码超参数非常敏感。建议参考已发布模型中的默认设置。
3. 评价
MOSS‑TTS 在开源零样本 TTS 基准Seed‑TTS‑eval 取得当前最佳结果，超越所有开源模型，并与主流闭源系统相当。
| 模型 | 参数量 | 开源 | 英文 WER (%) ↓ | 英文 SIM (%) ↑ | 中文 CER (%) ↓ | 中文 SIM (%) ↑ |
|---|---|---|---|---|---|---|
| DiTAR | 0.6B | ❌ | 1.69 | 73.5 | 1.02 | 75.3 |
| FishAudio-S1 | 4B | ❌ | 1.72 | 62.57 | 1.22 | 72.1 |
| Seed-TTS | ❌ | 2.25 | 76.2 | 1.12 | 79.6 | |
| MiniMax-Speech | ❌ | 1.65 | 69.2 | 0.83 | 78.3 | |
| CosyVoice | 0.3B | ✅ | 4.29 | 60.9 | 3.63 | 72.3 |
| CosyVoice2 | 0.5B | ✅ | 3.09 | 65.9 | 1.38 | 75.7 |
| CosyVoice3 | 0.5B | ✅ | 2.02 | 71.8 | 1.16 | 78 |
| CosyVoice3 | 1.5B | ✅ | 2.22 | 72 | 1.12 | 78.1 |
| F5-TTS | 0.3B | ✅ | 2 | 67 | 1.53 | 76 |
| SparkTTS | 0.5B | ✅ | 3.14 | 57.3 | 1.54 | 66 |
| FireRedTTS | 0.5B | ✅ | 3.82 | 46 | 1.51 | 63.5 |
| FireRedTTS-2 | 1.5B | ✅ | 1.95 | 66.5 | 1.14 | 73.6 |
| Qwen2.5-Omni | 7B | ✅ | 2.72 | 63.2 | 1.7 | 75.2 |
| FishAudio-S1-mini | 0.5B | ✅ | 1.94 | 55 | 1.18 | 68.5 |
| IndexTTS2 | 1.5B | ✅ | 2.23 | 70.6 | 1.03 | 76.5 |
| VibeVoice | 1.5B | ✅ | 3.04 | 68.9 | 1.16 | 74.4 |
| HiggsAudio-v2 | 3B | ✅ | 2.44 | 67.7 | 1.5 | 74 |
| VoxCPM | 0.5B | ✅ | 1.85 | 72.9 | 0.93 | 77.2 |
| Qwen3-TTS | 0.6B | ✅ | 1.68 | 70.39 | 1.23 | 76.4 |
| Qwen3-TTS | 1.7B | ✅ | 1.5 | 71.45 | 1.33 | 76.72 |
| MossTTSDelay | 8B | ✅ | 1.79 | 71.46 | 1.32 | 77.05 |
| MossTTSLocal | 1.7B | ✅ | 1.85 | 73.42 | 1.2 | 78.82 |