Matcha-Tts:一种基于条件流匹配的快速Tts架构笔记

MATCHA-TTS: A FAST TTS ARCHITECTURE WITH CONDITIONAL FLOW MATCHING笔记

提出问题:

1、合成速度慢

提出方法:

  1. 首先,提出了一种改进的编码器-解码器TTS架构,在解码器中使用1D CNN和Transformer的组合。这样减少了内存消耗,并且评估速度快,提高了合成速度。
  2. 其次,使用最优传输条件流匹配( OT-CFM )来训练这些模型,这是一种从数据分布中学习样本常微分方程(ODEs)的新方法。与传统的连续时间归一化流(CNFs)和基于得分匹配的概率流ODEs相比,OT - CFM定义了从源到目标的更简单的路径,能够在比DPMs更少的步骤中实现精确合成。
    方法实施中面临的问题:
    ①使用sinusoidal position embeddings进行位置依赖,不能很好的概括到长序列。解决的办法是使用旋转位置嵌入,它具有计算和记忆又是,可以推广到长距离。
    ②使用1D和2D卷积合成梅尔普图。2D将MEL图看作图像,隐式的假定在时间和频率上的评议不变性。但是MEL在频率轴上并不是完全平移不变性。并且2D解码器通常需要更多的内存,张量引入了额外的维度。已经有研究证明使用带有1D卷积的解码器可以学习到长距离依赖关系,并且合成速度快。

2、模型图如下

3、代码:https://shivammehta25.github.io/Matcha-TTS/

相关推荐
摇滚侠11 分钟前
Spring Boot3零基础教程,Kafka 小结,笔记79
spring boot·笔记·kafka
摇滚侠11 分钟前
Spring Boot3零基础教程,自定义 starter,把项目封装成依赖给别人使用,笔记65
数据库·spring boot·笔记
colus_SEU25 分钟前
【编译原理笔记】3.3 Specification of Tokens
笔记·编译原理
特种加菲猫1 小时前
自定义协议、序列化与守护进程:构建可靠后端服务
linux·网络·笔记
被遗忘的旋律.1 小时前
Linux驱动开发笔记(十三)——platform设备驱动
linux·驱动开发·笔记
nnerddboy2 小时前
QT(c++)开发自学笔记:4.Qt 3D简易实现
笔记
wan5555cn3 小时前
中国启用WPS格式进行国际交流:政策分析与影响评估
数据库·人工智能·笔记·深度学习·算法·wps
半夏知半秋5 小时前
redis-哨兵模式配置整理
数据库·redis·笔记·后端·学习·lua·安全架构
草莓熊Lotso5 小时前
模板进阶:从非类型参数到分离编译,吃透 C++ 泛型编程的核心逻辑
linux·服务器·开发语言·c++·人工智能·笔记·后端
ouliten8 小时前
cuda编程笔记(33)--Thrust库的使用
笔记·cuda