ChatTTS超真实自然的语音合成模型

项目介绍

ChatTTS是一款专为优化对话场景而生的语音生成模型,尤其匹配大型语言模型(LLM)的交互需求,以及生成对话式音频、视频旁白等应用场景,无缝覆盖中英文双语。

通过汲取约100,000小时的高质量中英语音数据进行深度训练,ChatTTS在语音合成领域彰显出卓越的自然度与逼真效果。

该模型的亮点集中体现在多语言能力、超大规模数据驱动的高保真输出、对LLM对话任务的卓越适配性,以及对未来开源计划的展望。

它不仅跨越语言界限,服务于多元化用户群体,还凭借其百万小时级数据训练的深厚底蕴,确保语音合成既流畅又自然,特别适合融入复杂的对话交互系统。

github 地址:github.com/2noise/Chat...

项目使用

这里并没有直接使用官方的包,而采用社区开发者制作的一键部署整合包。

此项目基于 ChatTTS ,支持流式输出、音色抽卡、长音频生成和分角色朗读。

github地址:github.com/6drf21e/Cha...

独有功能

音色抽卡

根据自己的需求选择合适的音色。

长音频生成

分段处理,最终输出的音频是将这些音频段合成后的结果,且支持流式生成音频,一边播放一遍推理。

角色扮演

脚本格式 角色::文本 一行为一句"。

项目安装

1、安装 Conda(如果尚未安装)。

2、打开终端,创建一个新的 conda 环境:

bash 复制代码
conda create -n "ChatTTS_colab" python=3.11

3、激活刚创建的环境:

bash 复制代码
conda activate ChatTTS_colab

4、克隆项目仓库到本地:

bash 复制代码
git clone git@github.com:6drf21e/ChatTTS_colab.git

5、手动安装 ChatTTS 依赖到项目目录:

bash 复制代码
cd ChatTTS_colab
git clone https://github.com/2noise/ChatTTS
cd ChatTTS
git checkout -q f4c8329
cd ..
mv ChatTTS temp
mv temp/ChatTTS ./ChatTTS
rm -rf temp

6、在项目目录安装 ChatTTS_colab 所需的依赖:

bash 复制代码
pip install -r requirements-macos.txt

7、运行项目,等待自动下载模型:

bash 复制代码
python webui_mix.py
# Loading ChatTTS model...

一切正常的话会自动打开浏览器,显示项目介绍中的界面。

-- 欢迎点赞、关注、转发、收藏【我码玄黄】,gonghao同名

相关推荐
AI极客菌9 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
水豚AI课代表15 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
程序员X小鹿17 小时前
全部免费!6款AI对口型神器,让照片开口说话唱歌,早晚用得上,建议收藏!(附保姆级教程)
aigc
真忒修斯之船18 小时前
大模型分布式训练并行技术(三)流水线并行
面试·llm·aigc
学习前端的小z19 小时前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc
zzZ_CMing21 小时前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
杰说新技术1 天前
Meta AI最新推出的长视频语言理解多模态模型LongVU分享
人工智能·aigc
热爱跑步的恒川1 天前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
火山引擎边缘云2 天前
创新实践:基于边缘智能+扣子的智慧婴儿监控解决方案
物联网·aigc·边缘计算
算家云2 天前
如何在算家云搭建Aatrox-Bert-VITS2(音频生成)
人工智能·深度学习·aigc·模型搭建·音频生成·算家云