语音合成(TTS) GPT-SoVITS认知

写在前面


  • 小伙伴推荐,简单了解
  • 相对之前试过的其他的TTS项目,GPT-SoVITS的优点
  • 简单易用,文档完整,默认的模型效果就很好
  • 理解不足小伙伴帮忙指正

不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了。------村上春树


GPT-SoVITS实现了:

  • 由参考音频的情感、音色、语速控制合成音频的情感、音色、语速
  • 可以少量语音微调训练,也可不训练直接推理
  • 可以跨语种生成,即参考音频(训练集)和推理文本的语种为不同语种

项目地址:

https://github.com/RVC-Boss/GPT-SoVITS/blob/main/README.md

第一次玩直接下载整合包就好:

https://huggingface.co/lj1995/GPT-SoVITS-windows-package/resolve/main/GPT-SoVITS-beta.7z?download=true

直接执行 bat 脚本就可以

bash 复制代码
D:\GPT-SoVITS-beta\GPT-SoVITS-beta0217>runtime\python.exe webui.py
Running on local URL:  http://0.0.0.0:9874

这里我们选中 是否开启TTS推理WebUI 稍等一会

会自动在浏览器打开推理页面

整合包默认会有模型,可以直接使用

参考音频准备

找一段游戏配音原声

如果不是原声,可以使用自带的工具处理,或者用Au剪一下,或者使用 整理包里的 ffmpeg 工具直接处理

参考音频:

年轻游侠儿泪眼模糊,凄然一笑,站起身,拿木剑对准墙壁,狠狠折断。此后江湖再无温华的消息,这名才出江湖便已名动天下的木剑游侠儿,一夜之间,以最决然的苍凉姿态,离开了江湖。刺骨大雪中,他最后对自己说了一句。"不练剑了。"

推理结果


参考音频:

姜泥声若细蚊道:"是不是我走了,就杀不了你了?",徐凤年转身笑道:"当然不会,有曹官子和老剑神两位高人教你,说不定过个几年就能杀我了,走吧走吧,省得天天在本世子面前晃荡,没你在,记得杀我之前通知一声,我也好睡安稳觉,我能睡几年是几年,",姜泥咬着嘴唇道:"那我就不走!。

推理结果


博文部分内容参考

© 文中涉及参考链接内容版权归原作者所有,如有侵权请告知 😃


https://github.com/RVC-Boss/GPT-SoVITS/blob/main/README.md


© 2018-2024 [email protected], All rights reserved. 保持署名-非商用-相同方式共享(CC BY-NC-SA 4.0)

相关推荐
武子康1 天前
大语言模型 11 - 从0开始训练GPT 0.25B参数量 MiniMind2 准备数据与训练模型 DPO直接偏好优化
人工智能·gpt·ai·语言模型·自然语言处理
武子康1 天前
大语言模型 10 - 从0开始训练GPT 0.25B参数量 补充知识之模型架构 MoE、ReLU、FFN、MixFFN
大数据·人工智能·gpt·ai·语言模型·自然语言处理
武子康2 天前
大语言模型 09 - 从0开始训练GPT 0.25B参数量 补充知识之数据集 Pretrain SFT RLHF
人工智能·gpt·ai·语言模型·自然语言处理
一叶茶2 天前
VsCode和AI的前端使用体验:分别使用了Copilot、通义灵码、iflyCode和Trae
前端·vscode·gpt·ai·chatgpt·copilot·deepseek
sbc-study3 天前
GPT( Generative Pre-trained Transformer )模型:基于Transformer
gpt·深度学习·transformer
Code_流苏3 天前
《Python星球日记》 第69天:生成式模型(GPT 系列)
python·gpt·深度学习·机器学习·自然语言处理·transformer·生成式模型
字节旅行4 天前
大语言模型主流架构解析:从 Transformer 到 GPT、BERT
gpt·语言模型·transformer
AI Echoes5 天前
GPT 经验
gpt
fanstering5 天前
mac一键安装gpt-sovit教程中,homebrew卡住不动的问题
gpt·macos
2301_787552875 天前
console-chat-gpt开源程序是用于 AI Chat API 的 Python CLI
人工智能·python·gpt·开源·自动化