语言模型 F5-E2 TTS:音色 & 情绪一键克隆,轻松实现多角色对话

F5-TTS 是由上海交通大学、剑桥大学和吉利汽车研究院(宁波)有限公司于 2024 年共同开源的一款高性能文本到语音 (TTS) 系统,它基于流匹配的非自回归生成方法,结合了扩散变换器 (DiT) 技术。 F5-TTS 的主要功能包括零样本声音克隆、速度控制、情感表现控制、长文本合成以及多语言支持。它的技术原理涉及到流匹配、扩散变换器 (DiT)、ConvNeXt V2 文本表示改进、Sway Sampling 策略以及端到端的系统设计。

E2 TTS,全称为「Embarrassingly Easy Text-to-Speech」,是一种先进的文本转语音 (TTS) 系统,它通过简化的流程实现了人类水平的自然度和说话人相似性。E2 TTS 的核心在于它完全非自回归的特性,这意味着它可以一次性生成整个语音序列,而不需要逐步生成,从而显著提高了生成速度并保持了高质量的语音输出。

教程链接:https://go.openbayes.com/bRbIs

使用云平台:OpenBayes

http://openbayes.com/console/signup?r=sony_0m6v

登录 OpenBayes.com,在「公共教程」页面,选择「F5-E2 TTS 只需 3 秒克隆任何音色」教程。

页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

页面跳转后,选择「NVIDIA RTX 4090」以及「PyTorch」镜像,OpenBayes 平台上线了新的计费方式,大家可以按照需求选择「按量付费」或「包日/周/月」,点击「继续执行」。可以使用文章开头的邀请链接,获得 RTX 4090 使用时长!

稍等片刻,待系统分配好资源,当状态变为「运行中」后,点击「API 地址」边上的跳转箭头,即可跳转至 Demo 页面。

  1. 单人语音生成 (Batched TTS )

选择「TTS」,在「Reference Audio」处上传需要克隆的音频(例如:甄嬛的音频),在「Text to Generate」中输入文本提示词( F5-TTS 的主要功能包括零样本声音克隆、速度控制、情感表现控制、长文本合成以及多语言支持。)点击「Synthesize」提交。在「Advanced Settings」下可设置高级参数:

  • Reference Text:参考文本,留空以自动转录参考音频。如果您输入文本,它将覆盖自动转录。

  • Remove Silences:移除静音,该模型往往会产生静音,尤其是在较长的音频上。如果需要,我们可以手动删除静音。请注意,这是一个实验性功能,可能会产生奇怪的结果并且增加生成时间。

  • Custom Split Words:断句符号,输入要分割的自定义单词,以逗号分隔。留空以使用默认列表。

  • Speed:速度,控制生成的语速。

2. 多人语音生成 (Podcast Generation)

该功能可以通过克隆音频,实现双人对话。选择「Podcast Generation」,在「Speaker 1 Name」输入第一个人的名称 (huan),在「Reference Text (Speaker 1)」输入第一个人的音频;在「Speaker 2 Name」输入第二个人的名称 (hua),在「Reference Text (Speaker 2)」输入第二个人的音频。在「Podcast Script」中按照格式输入对话文本(hua:你今天吃的什么?huan:我今天吃的鱼香肉丝和米饭。)然后选择模型 F5-TTS 或 E2-TTS。最后点击「Generate Podcast」生成。

  1. 多种语音类型生成 (Multiple Speech-Type Generation)

这个功能可以使用模型模拟情绪,根据不同的情绪进行音频生成。选择「Multiple Speech-Type Generation」后,点击「Add Speech Type」添加不同语气类型和音频(例如 Regular 和 Angry),在「Text to Generate」中按照要求的格式输入生成文本 (Angry:You know what, darn you and your little shop, you suck!) 然后选择模型 F5-TTS 或 E2-TTS。最后点击「Generate Emotional Speech」生成。

相关推荐
go546315846513 分钟前
基于深度学习的食管癌右喉返神经旁淋巴结预测系统研究
图像处理·人工智能·深度学习·神经网络·算法
Blossom.11814 分钟前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘
宇称不守恒4.017 分钟前
2025暑期—05神经网络-卷积神经网络
深度学习·神经网络·cnn
想变成树袋熊1 小时前
【自用】NLP算法面经(6)
人工智能·算法·自然语言处理
格林威1 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现沙滩小人检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
checkcheckck2 小时前
spring ai 适配 流式回答、mcp、milvus向量数据库、rag、聊天会话记忆
人工智能
Microvision维视智造2 小时前
从“人工眼”到‘智能眼’:EZ-Vision视觉系统如何重构生产线视觉检测精度?
图像处理·人工智能·重构·视觉检测
我不是大佬zvj2 小时前
解决使用vscode连接服务器出现“正在下载 VS Code 服务器...”
语言模型
巫婆理发2222 小时前
神经网络(多层感知机)(第二课第二周)
人工智能·深度学习·神经网络
lxmyzzs2 小时前
【打怪升级 - 03】YOLO11/YOLO12/YOLOv10/YOLOv8 完全指南:从理论到代码实战,新手入门必看教程
人工智能·神经网络·yolo·目标检测·计算机视觉