神经串联式语音转换:对基于串联的单次语音转换方法的再思考 论文笔记

NEURAL CONCATENATIVE SINGING VOICE CONVERSION: RETHINKING CONCATENATION-BASED APPROACH FOR ONE-SHOT SINGING VOICE CONVERSION 笔记

发现问题:

在any-to-any的转换中,由于内容和说话人音色的解耦不足,导致源说话人的音色部分仍保留在转换后的音频中,影响了音频质量和转换效果。

解决问题:

1、提出了NeuCoSVC,参考了KNN-VC中的方法,用SSL表示代替语音单元,并使用声码器直接合成音频。在推理过程中,从目标音频中提取SSL表示以形成匹配池。然后将源表示的每一帧替换为匹配池中最近的邻居,以创建用于音频合成的预匹配表示。这种方法完全利用了来自目标扬声器的特征,可以潜在地消除音色泄漏。

2、kNN-VC中缺乏明确的音高建模,本文采用了FastSVC架构,通过特征线性调制(FiLM)有效地整合了音高和响度特征。

模型结构图

SSL表示提取器和匹配模块

这个模块包括两个模块:

(1)从音频中提取压缩特征:遵循KNN-VC的方法,采用预训练的WavLM-Large编码器从音频中提取SSL特征,研究发现, WavLM的第6层有效地将同一音素的声音片段在特征空间中映射得更近。并且,这一层还保留了说话人的音色信息

(2)将提取的源话语特征替换成参考话语特征:在匹配策略方面,我们采用kNN方法,在参考匹配池中搜索最接近的K个SSL特征,然后将这K个特征的均值用于替换源语音特征。为了提高匹配过程的准确性,我们采用WavLM-Large中最后5层的平均值进行匹配,同时利用第6层进行合成,这一决定的动机是,后5层包含更多的判别性内容信息,从而提高了匹配精度。匹配策略采用k = 4的k近邻法,以余弦相似度作为距离度量。

神经谐波信号生成器

谐波信号可以更准确的表示音高:音高信息通常用基频(f0)表示,但f0只是一个数字,无法完整地表示音高的变化和细微差别。谐波信号包含了多个频率成分,可以更准确地表示音高的变化和细微差别,从而生成更自然、更准确的歌声。

1、结构

(1)基频激励信号生成器:将帧级的f0特征上采样到音频级并生成基频激励信号 p[n]

p[n]: 基频激励信号,它是 n 时刻的信号值。

K:谐波成分的数量,由公式(2)计算。

k: 谐波成分的索引,kE {1,2,...,K}。

fo[i]: 第i个帧的基频值。fs: 音频采样率。n:时刻索引。

当fo[n] >0时, p[n]是一个由K个谐波成分组成的信号。每个谐波成分的频率是 fo[n] 的整数倍。谐波成分的幅度相等。当 fO[n] = 0 时,p[n] = 0,表示没有基频激励信号。

K:谐波成分的数量。

K 的值取决于fo[n]的值和音频采样率fs。当fo[n]越高时,K的值越小,谐波成分的数量越少。当fo[n]越低时,K的值越大,谐波成分的数量越多。

公式(1)和公式(2)用于生成基频激励信号p[n],它包含了音高信息。公式(1)表示基频激励信号的生成过程,公式(2)表示谐波成分的数量K的计算方法。

(2)线性时变滤波器:对不同谐波分量的幅值进行调整

第一部分是h1[n] * p[n],它表示对基频激励信号p[n]进行滤波后的信号,其中h1[n]是LTV滤波器的系数。

第二部分是 h2[n] * z[n],它表示对噪声信号 z[n] 进行滤波后的信号,其中h2[n]是LTV滤波器的系数。

(3)谐波信号拼接器:将原始正弦激励信号与滤波后的激励信号连接起来,形成神经谐波信号

音频合成器

音频合成器包括一个上采样流和两个下采样流。上采样流由5个上采样块组成,逐步将SSL特征转换为音频采样。两个下采样流分别将音调和响度信息下采样到每个块的相应尺度中,集成到上采样块中。

WavLM-Large模型每20ms的音频提取一次SSL特征,音高和响度特征每10ms提取一次。将每个SSL特征向量复制两次,使其时间间隔变为10ms,从而与音高和响度特征的时间间隔一致.

相关推荐
大拨鼠12 小时前
【多模态读论文系列】MINIGPT-4论文笔记
论文阅读
计算机-秋大田12 小时前
基于Spring Boot的船舶监造系统的设计与实现,LW+源码+讲解
java·论文阅读·spring boot·后端·vue
ssf-yasuo13 小时前
SPIRE: Semantic Prompt-Driven Image Restoration 论文阅读笔记
论文阅读·笔记·prompt
YMWM_14 小时前
论文阅读《Structure-from-Motion Revisited》
论文阅读
是瑶瑶子啦14 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
咔叽布吉16 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
热情的Dongming1 天前
【课程总结】day34:多模态大模型之ViT模型、CLIP模型论文阅读理解
论文阅读
chencjiajy1 天前
向量模型Jina Embedding: 从v1到v3论文笔记
论文阅读·embedding·向量模型
HollowKnightZ2 天前
论文阅读笔记:DRCT: Saving Image Super-Resolution away from Information Bottleneck
论文阅读·笔记