使用 F5 TTS 文字转音频

hawk2014bj2024-11-29 20:56

F5 TTS 支持 ZeroShot 音频克隆，只有将需要音频传给模型，模型既可以生成以对应声音生成的音频，F5 最强大的地方就是可以使用定制的人声。F5 使用了 DIT 架构进行训练，结构如下：

本地使用 F5 TTS

F5 使用很简单，本地进行安装，我使用 ModelScope 的镜像，免去了一些环境的配置与安装。通过命令行生成音频，这里使用了默认的系统的人声，如果需要使用定制人声添加两个参数即可 --ref_audio "ref_audio.wav" \ --ref_text "The content, subtitle or transcription of reference audio." \, ref_text 不是必须的。

复制代码

## 安装 F5
pip install git+https://github.com/SWivid/F5-TTS.git

## 运行
f5-tts_infer-cli --model "F5-TTS"   --gen_text "新疆阿尔金山作为中国四大无人区之一，平均海拔四千五百八十米，那里人烟稀少，却有一群维护着格库铁路通信畅通的年轻通信工。二十四岁的辛晓雨常年工作在浩渺无垠的戈壁上，用认真负责 的态度悉心维护着通信基站的设施设备，保障着铁路安全运行。"

总结

F5 TTS 效果还不错，可以使用定制的人声，不需要进行训练，中文无法识别数字，可以先通过LLM 进行转换将数字转为中文。