开源轻量级语音合成和语音克隆模型:OuteTTS-1.0-0.6B

OuteTTS Version 1.0

一、OuteTTS 版本更新概述

OuteTTS Version 1.0 在语音合成和语音克隆方面带来了重大改进,提供了更强大、准确且用户友好的体验,同时保持了紧凑的体积。

二、OuteTTS Python 包新版本介绍

OuteTTS Python Package v0.4.2 新增了批量推理生成功能,与最新的 OuteTTS 发布版本相匹配。

三、Batched RTF 基准测试

在 NVIDIA L40S GPU 上进行了测试,展示了不同配置下的实时因子与批量大小的关系。

四、快速入门指南

  1. 安装 :提供了安装说明链接。

  2. 基本设置

    • 导入必要的模块,如 Interface、ModelConfig、GenerationConfig、Backend、InterfaceVersion、M 等。

    • 初始化接口,使用 ModelConfig.auto_config 方法配置模型和后端。

    • 加载默认的英语说话者配置文件,也可以创建和保存自定义说话者。

    • 使用接口的 generate 方法生成语音并保存为文件。

  3. 批量设置

    • 同样导入相关模块。

    • 初始化接口时,选择支持批量处理的后端,如 VLLM。

    • 加载说话者配置文件。

    • 在生成语音时,指定生成类型为批量(BATCH),并可根据需要调整最大批量大小和 DAC 解码块大小等参数。

    • 保存生成的语音文件。

五、更多配置选项

建议用户访问官方仓库获取更高级的设置和定制化选项。

六、多语言能力

  1. 支持的语言 :包括英语、中文、荷兰语、法语、格鲁吉亚语、德语、匈牙利语、意大利语、日语、韩语、拉脱维亚语、波兰语、俄语、西班牙语等。

  2. 超出支持语言的情况 :模型可以在未训练的语言上生成语音,但效果可能因语言而异。

七、使用建议

  1. 说话者参考 :模型设计用于带有说话者参考,这样可以继承参考说话者的情感、风格和口音,提高输出质量。

  2. 多语言应用 :建议为打算使用的语言创建说话者配置文件,以获得更好的结果,包括音调、口音和语言特征。虽然支持跨语言语音,但仍依赖参考说话者。

  3. 最佳音频长度 :单次运行生成大约 42 秒(约 8,192 个标记)的音频效果最佳,一般建议不超过 7,000 个标记。如果参考说话者音频长度为 10 秒,则有效上下文减少到约 32 秒。

  4. 温度设置建议 :测试表明,温度 0.4 是准确性的理想起点,但根据不同的语音参考,可能需要调整温度以增强表达性或更精确地复制语音。

八、验证说话者编码

如果克隆的语音质量不佳,可以使用 interface.decode_and_save_speaker 方法检查编码后的说话者样本。DAC 音频重建模型是有损的,样本存在剪辑、过大的响度或异常的语音特征可能会导致编码问题,影响输出质量。

九、采样配置

为了获得最佳结果,建议使用以下采样设置:

参数
Temperature 0.4
Repetition Penalty 1.1
Repetition Range 64
Top - k 40
Top - p 0.9
Min - p 0.05

十、模型规格

上下文长度 支持情况
8,192 tokens 23 + 种语言
8,192 tokens 14 + 种语言

十一、致谢

  1. 音频编码和解码使用了 ibm - research/DAC.speech.v1.0。

  2. OuteTTS 以 Qwen3 0.6B 作为基础模型,并进行了持续预训练和微调。

  3. 使用的数据集包括多语言 LibriSpeech(MLS)(CC BY 4.0 许可)和 Common Voice Corpus(CC - 0 许可)。

十二、伦理使用指南

  1. 预期用途 :该模型旨在用于合法的应用程序,以增强可访问性、创造力和通信。

  2. 禁止使用

    • 未经个人明确、知情的同意,冒充个人。

    • 制作具有误导性、虚假或欺骗性的内容(例如,出于恶意目的的 "深度伪造")。

    • 生成有害、仇恨、骚扰或诽谤性材料。

    • 未经个人事先明确许可,对任何个人进行语音克隆。

    • 违反适用的当地、国家或国际法律、法规或版权的任何用途。

  3. 责任 :用户对其生成的内容以及使用方式负责。鼓励用户仔细考虑合成媒体的潜在影响。

核心技术表格如下:

相关推荐
ai大模型中转api测评几秒前
告别文字堆砌:Gemini 交互 API 赋能垂直领域,开发者如何重构用户认知?
人工智能·重构·交互·api
陌殇殇5 分钟前
002 Spring AI Alibaba框架整合百炼大模型平台 — 聊天、文生图、语音、向量模型整合
人工智能·spring·ai
南湖北漠6 分钟前
记录生活中的那些小事(佚名)
网络·人工智能·计算机网络·其他·安全·生活
清水白石0088 分钟前
《解锁 Python 潜能:从核心语法到 AI 服务层架构的工业级进阶与实战》
人工智能·python·架构
大连好光景11 分钟前
学会评估模型的拟合状态和泛化能力
人工智能·机器学习
2301_8227032013 分钟前
Flutter 框架跨平台鸿蒙开发 - 气味记忆唤醒应用
flutter·华为·开源·harmonyos·鸿蒙
老兵发新帖13 分钟前
Hermes:openclaw的最佳替代之基于源码部署的飞书配置
人工智能·飞书
weixin_5134499619 分钟前
walk_these_ways项目学习记录第七篇(通过行为多样性 (MoB) 实现地形泛化)--核心环境下
人工智能·python·学习
智在碧得25 分钟前
碧服智能体进化:AI赋能意图识别能力,“一问”更智能
大数据·人工智能·机器学习
人工智能AI技术30 分钟前
Visual Studio Code 1.114 更新:AI 聊天体验全面优化
人工智能