Matcha-Tts:一种基于条件流匹配的快速Tts架构笔记

MATCHA-TTS: A FAST TTS ARCHITECTURE WITH CONDITIONAL FLOW MATCHING笔记

提出问题:

1、合成速度慢

提出方法:

  1. 首先,提出了一种改进的编码器-解码器TTS架构,在解码器中使用1D CNN和Transformer的组合。这样减少了内存消耗,并且评估速度快,提高了合成速度。
  2. 其次,使用最优传输条件流匹配( OT-CFM )来训练这些模型,这是一种从数据分布中学习样本常微分方程(ODEs)的新方法。与传统的连续时间归一化流(CNFs)和基于得分匹配的概率流ODEs相比,OT - CFM定义了从源到目标的更简单的路径,能够在比DPMs更少的步骤中实现精确合成。
    方法实施中面临的问题:
    ①使用sinusoidal position embeddings进行位置依赖,不能很好的概括到长序列。解决的办法是使用旋转位置嵌入,它具有计算和记忆又是,可以推广到长距离。
    ②使用1D和2D卷积合成梅尔普图。2D将MEL图看作图像,隐式的假定在时间和频率上的评议不变性。但是MEL在频率轴上并不是完全平移不变性。并且2D解码器通常需要更多的内存,张量引入了额外的维度。已经有研究证明使用带有1D卷积的解码器可以学习到长距离依赖关系,并且合成速度快。

2、模型图如下

3、代码:https://shivammehta25.github.io/Matcha-TTS/

相关推荐
Cathy Bryant2 小时前
球极平面投影
经验分享·笔记·数学建模
Larry_Yanan3 小时前
QML学习笔记(三十一)QML的Flow定位器
java·前端·javascript·笔记·qt·学习·ui
The_Killer.3 小时前
近世代数(抽象代数)详细笔记--环(也有域的相关内容)
笔记·学习·抽象代数·
Larry_Yanan3 小时前
QML学习笔记(三十)QML的布局器(Layouts)
c++·笔记·qt·学习·ui
不会kao代码的小王4 小时前
突破机房围墙:openEuler设备的公网管理实战指南
开发语言·数据库·笔记
He BianGu4 小时前
【笔记】WPF中如何的动态设置DataGridTextColumn是否显示
笔记·wpf
_李小白6 小时前
【OPENGL ES 3.0 学习笔记】第一天:认识渲染管道
笔记·学习
bnsarocket6 小时前
Verilog和FPGA的自学笔记4——多路选择器(always语句)
笔记·fpga开发·编程·verilog·自学·硬件编程
你也渴望鸡哥的力量么9 小时前
爬虫学习笔记
笔记·爬虫·学习
日更嵌入式的打工仔10 小时前
InitLWIP() 初始化
笔记·嵌入式硬件·学习