Matcha-Tts:一种基于条件流匹配的快速Tts架构笔记

MATCHA-TTS: A FAST TTS ARCHITECTURE WITH CONDITIONAL FLOW MATCHING笔记

提出问题:

1、合成速度慢

提出方法:

  1. 首先,提出了一种改进的编码器-解码器TTS架构,在解码器中使用1D CNN和Transformer的组合。这样减少了内存消耗,并且评估速度快,提高了合成速度。
  2. 其次,使用最优传输条件流匹配( OT-CFM )来训练这些模型,这是一种从数据分布中学习样本常微分方程(ODEs)的新方法。与传统的连续时间归一化流(CNFs)和基于得分匹配的概率流ODEs相比,OT - CFM定义了从源到目标的更简单的路径,能够在比DPMs更少的步骤中实现精确合成。
    方法实施中面临的问题:
    ①使用sinusoidal position embeddings进行位置依赖,不能很好的概括到长序列。解决的办法是使用旋转位置嵌入,它具有计算和记忆又是,可以推广到长距离。
    ②使用1D和2D卷积合成梅尔普图。2D将MEL图看作图像,隐式的假定在时间和频率上的评议不变性。但是MEL在频率轴上并不是完全平移不变性。并且2D解码器通常需要更多的内存,张量引入了额外的维度。已经有研究证明使用带有1D卷积的解码器可以学习到长距离依赖关系,并且合成速度快。

2、模型图如下

3、代码:https://shivammehta25.github.io/Matcha-TTS/

相关推荐
小七在进步9 小时前
string的实现(1)
c++·笔记·visual studio
保利威视频SaaS小张12 小时前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv
lcj251114 小时前
[C++] C++11
开发语言·c++·笔记
一条破秋裤15 小时前
【1117】【内存资源管控】【笔记】
android·笔记
qingwufeiyang_53017 小时前
Docker学习笔记2
笔记·学习
Z21-X18 小时前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
星恒随风18 小时前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql
希和20271 天前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记·单片机·mongodb
Sakura_j_h_1 天前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
前进的李工2 天前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步