开源轻量级语音合成和语音克隆模型:OuteTTS-1.0-0.6B

OuteTTS Version 1.0

一、OuteTTS 版本更新概述

OuteTTS Version 1.0 在语音合成和语音克隆方面带来了重大改进,提供了更强大、准确且用户友好的体验,同时保持了紧凑的体积。

二、OuteTTS Python 包新版本介绍

OuteTTS Python Package v0.4.2 新增了批量推理生成功能,与最新的 OuteTTS 发布版本相匹配。

三、Batched RTF 基准测试

在 NVIDIA L40S GPU 上进行了测试,展示了不同配置下的实时因子与批量大小的关系。

四、快速入门指南

  1. 安装 :提供了安装说明链接。

  2. 基本设置

    • 导入必要的模块,如 Interface、ModelConfig、GenerationConfig、Backend、InterfaceVersion、M 等。

    • 初始化接口,使用 ModelConfig.auto_config 方法配置模型和后端。

    • 加载默认的英语说话者配置文件,也可以创建和保存自定义说话者。

    • 使用接口的 generate 方法生成语音并保存为文件。

  3. 批量设置

    • 同样导入相关模块。

    • 初始化接口时,选择支持批量处理的后端,如 VLLM。

    • 加载说话者配置文件。

    • 在生成语音时,指定生成类型为批量(BATCH),并可根据需要调整最大批量大小和 DAC 解码块大小等参数。

    • 保存生成的语音文件。

五、更多配置选项

建议用户访问官方仓库获取更高级的设置和定制化选项。

六、多语言能力

  1. 支持的语言 :包括英语、中文、荷兰语、法语、格鲁吉亚语、德语、匈牙利语、意大利语、日语、韩语、拉脱维亚语、波兰语、俄语、西班牙语等。

  2. 超出支持语言的情况 :模型可以在未训练的语言上生成语音,但效果可能因语言而异。

七、使用建议

  1. 说话者参考 :模型设计用于带有说话者参考,这样可以继承参考说话者的情感、风格和口音,提高输出质量。

  2. 多语言应用 :建议为打算使用的语言创建说话者配置文件,以获得更好的结果,包括音调、口音和语言特征。虽然支持跨语言语音,但仍依赖参考说话者。

  3. 最佳音频长度 :单次运行生成大约 42 秒(约 8,192 个标记)的音频效果最佳,一般建议不超过 7,000 个标记。如果参考说话者音频长度为 10 秒,则有效上下文减少到约 32 秒。

  4. 温度设置建议 :测试表明,温度 0.4 是准确性的理想起点,但根据不同的语音参考,可能需要调整温度以增强表达性或更精确地复制语音。

八、验证说话者编码

如果克隆的语音质量不佳,可以使用 interface.decode_and_save_speaker 方法检查编码后的说话者样本。DAC 音频重建模型是有损的,样本存在剪辑、过大的响度或异常的语音特征可能会导致编码问题,影响输出质量。

九、采样配置

为了获得最佳结果,建议使用以下采样设置:

参数
Temperature 0.4
Repetition Penalty 1.1
Repetition Range 64
Top - k 40
Top - p 0.9
Min - p 0.05

十、模型规格

上下文长度 支持情况
8,192 tokens 23 + 种语言
8,192 tokens 14 + 种语言

十一、致谢

  1. 音频编码和解码使用了 ibm - research/DAC.speech.v1.0。

  2. OuteTTS 以 Qwen3 0.6B 作为基础模型,并进行了持续预训练和微调。

  3. 使用的数据集包括多语言 LibriSpeech(MLS)(CC BY 4.0 许可)和 Common Voice Corpus(CC - 0 许可)。

十二、伦理使用指南

  1. 预期用途 :该模型旨在用于合法的应用程序,以增强可访问性、创造力和通信。

  2. 禁止使用

    • 未经个人明确、知情的同意,冒充个人。

    • 制作具有误导性、虚假或欺骗性的内容(例如,出于恶意目的的 "深度伪造")。

    • 生成有害、仇恨、骚扰或诽谤性材料。

    • 未经个人事先明确许可,对任何个人进行语音克隆。

    • 违反适用的当地、国家或国际法律、法规或版权的任何用途。

  3. 责任 :用户对其生成的内容以及使用方式负责。鼓励用户仔细考虑合成媒体的潜在影响。

核心技术表格如下:

相关推荐
AI-星辰几秒前
始理解NLP:我的第一章学习心得
人工智能·大模型·llm·nlp
The god of big data7 分钟前
为什么在1080p的屏幕下,通常观看4K视频要比1080p的视频来的清晰?
人工智能·音视频
nice-wyh13 分钟前
三维重建之colmap+openmvs
人工智能·深度学习·3d
新智元16 分钟前
CVPR 史上首次!中国车厂主讲 AI 大模型,自动驾驶也玩 Scaling Law?
人工智能·openai
weixin_5498083619 分钟前
从误判到零偏差:AI如何撬动冰山数据实现人岗动态最优解
人工智能
踩着两条虫20 分钟前
AI + 低代码 技术揭秘(七):设计器和渲染器
人工智能·低代码
TGITCIC25 分钟前
RGB解码:神经网络如何通过花瓣与叶片的数字基因解锁分类奥秘
人工智能·神经网络·机器学习·分类·大模型·建模·自学习
企鹅侠客32 分钟前
19|Whisper+ChatGPT:请AI代你听播客
人工智能·ai·chatgpt·whisper
一个java开发34 分钟前
开源免费ETL工具==PYTHON实现
python·开源·etl
深度学习机器42 分钟前
Mem0:新一代AI Agent的持久化记忆体系
人工智能·llm·agent