一个简单可用的中英文音色克隆工具

对音色克隆这块一直感兴趣,想找个可用的支持中文的玩玩,关注coqui很久了,可惜他们迟迟不支持中文,直到9月份才开始支持。

于是搞了一个带web界面的声音克隆工具,可使用你的或者其他声音的音色,将一段文字合成为使用该声音说话的音频。使用非常简单,没有GPU也可以使用,github下载预编译版本,双击 app.exe 打开一个web界面,鼠标点点快速体验,笔记本电脑就可使用,毕竟这是本项目创立的初衷,高手直接拉取coqui-tts,可玩性更强。

项目开源地址: github.com/jianchang51...

支持 中文 、英文 、日语 、韩语 4种语言,可在线从麦克风录制声音。为保证合成效果,建议录制时长5秒到20秒,发音清晰准确,不要存在背景噪声。英文效果很棒,中文效果还凑合。

可导入srt格式的字幕,然后按照时间线合成语音,生成wav音频。

项目基于 coqui-tts ,早就想使用这个来做音色克隆了,只是他们一直不支持中文,直到今天9月份才支持。 内部集成flask搞了一个简单的本地web界面,默认地址 http://127.0.0.1:9988 , 可在线录制声音或上传已有的一段声音作为音色,然后输入一段文字,即可生成使用该声音的音频。

已提供window预编译版,直接下载压缩包解压,然后双击 run.bat 即可使用。其实直接拉取 coqui-tts 也可以,当然需要一些相关技术知识。本项目初衷是降低ai使用难度,让小白也能快速上手体验,不必配备N卡,即使笔记本电脑也可使用。

一些问题

遇到不少问题,颇伤脑筋

  1. 首先就是打包问题,使用的pyinstaller 打包,打包后提示缺少不少依赖,修改了 spec 文件,copy_meta /copytree ,费了不少力气,还是无法彻底解决所有问题,后来干脆简单粗暴些,直接从 Lib 下复制缺少的包进去,解决了,只是包太大了,仅支持CPU,打包压缩后总体积也达到了1.9G

  2. 对CUDA的支持,源码支持cuda,预编译版为减小体积,仅支持CPU,原本加入了GPU支持,可惜7zip压缩后体积仍然达到将近4G,太大了

  3. 中文断句问题,coqui 今年9月份才增加中文支持,目前看起来效果还不是很好,有的在不该断句的地方生硬的断开了,而应该断句的标点处却没有断句

  4. xtts-v2 language="zh-cn" 时的bug,当使用 该模型,并设置语言位 "zh-cn" 时,会提示ValueError: Model is not multi-lingual but language is provided., coqui已有人提交bug报告,目前是通过修改 TTS/api.py,注释掉大约242行的代码解决的

python 复制代码
if not self.is_multi_lingual and language is not None:
   raise ValueError("Model is not multi-lingual but `language` is provided.")

依赖的其他开源项目

  1. github.com/coqui-ai/TT...
  2. github.com/pallets/fla...
相关推荐
明月_清风2 小时前
Muse 登顶 App Store 第一,SDK 直接开源:AI Agent 开始进入下一个阶段
人工智能·后端
言乐62 小时前
HTML视频审核模型
python·django·virtualenv·pygame·tornado
言乐63 小时前
Python根据无法识别搜索词找出可能输入内容模型
开发语言·python·django·virtualenv·pygame
yl45304 小时前
硫酸泄露处理生产商怎么选才够专业
大数据·人工智能·python
笨笨饿4 小时前
140_AI新手村MCP与Skills是干嘛的
开发语言·人工智能·python·stm32·单片机·嵌入式硬件·物联网
hsfxuebao5 小时前
Loop Engineering 保姆级教程 + 项目实战
人工智能·后端
for_ever_love__5 小时前
机器学习入门——手写线性回归与梯度下降
人工智能·python·学习·机器学习·线性回归
打工仔折腾 AI5 小时前
从 Demo 到生产级 Agent:8 个关键设计机制与 Python 实现拆解
java·jvm·人工智能·后端·python·langchain·ai agent 实战
I Am a robert girl5 小时前
当传感器学会“说谎“:拆解可靠性门控的稀疏惯性动捕融合
python·姿态估计·传感器融合·惯性动捕·imu传感器·可靠性门控·可穿戴计算
全栈弄潮儿5 小时前
一次真实失败:AI 代码看起来没问题,为什么还是翻车了?
aigc·openai·ai编程