Spark-TTS:基于大模型的文本语音合成工具

GitHub:https://github.com/SparkAudio/Spark-TTS

Spark-TTS是一个先进的文本到语音系统,它利用大型语言模型(LLM)的强大功能进行高度准确和自然的语音合成;旨在高效、灵活、强大地用于研究和生产用途。

一、介绍

Spark TTS完全基于Qwen2.5构建,无需额外的生成模型,它不依赖于单独的模型来生成声学特征,而是直接从LLM预测的代码中重建音频。这种方法简化了流程,提高了效率并降低了复杂性;支持零样本语音克隆,它可以直接复制说话者的语音。这是跨语言和代码转换场景的理想选择,允许语言和语音之间的无缝转换,而不需要对每种语言进行单独的培训;支持中文和英文两种语言,使模型能够以高自然度和准确性合成多种语言的语音;支持通过调整性别、音高和语速等参数来创建虚拟说话者。

二、安装

2.1 克隆项目

bash 复制代码
git clone https://github.com/SparkAudio/Spark-TTS.git
cd Spark-TTS

2.2 构建环境依赖

bash 复制代码
conda create -n sparktts -y python=3.12 
conda activate sparktts
pip install -r requirements.txt
# If you are in mainland China, you can set the mirror as follows:
# pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

PS:官方推荐python3.12,但是我这边使用3.12环境一直安装失败,所以我选择3.11.11,和我一样问题的同学可以尝试一下降低python版本 ;

2.3 下载预训练模型

bash 复制代码
mkdir pretrained_models && cd pretrained_models

# 安装大文件拉取工具
git lfs install

# 从Modelscpoe上下载模型
git clone https://www.modelscope.cn/SparkAudio/Spark-TTS-0.5B.git

三、运行

3.1 终端运行

python 复制代码
python -m cli.inference \
    --text "text to synthesis." \
    --device 0 \
    --save_dir "path/to/save/audio" \
    --model_dir pretrained_models/Spark-TTS-0.5B \
    --prompt_text "transcript of the prompt audio" \
    --prompt_speech_path "path/to/prompt_audio"

上面是在终端的运行代码,项目中给出了一个运行事例,我们结合这个运行事例来具体看一下每个参数代表的含义,下面就是example/infer.sh的文件内容:

bash 复制代码
#!/bin/bash

# Copyright (c) 2025 SparkAudio
#               2025 Xinsheng Wang (w.xinshawn@gmail.com)
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.


# Get the absolute path of the script's directory
script_dir=$(dirname "$(realpath "$0")")

# Get the root directory
root_dir=$(dirname "$script_dir")

# Set default parameters
device=0
save_dir='example/results'
model_dir="pretrained_models/Spark-TTS-0.5B"
text="身临其境,换新体验。塑造开源语音合成新范式,让智能语音更自然。"
prompt_text="吃燕窝就选燕之屋,本节目由26年专注高品质燕窝的燕之屋冠名播出。豆奶牛奶换着喝,营养更均衡,本节目由豆本豆豆奶特约播出。"
prompt_speech_path="example/prompt_audio.wav"

# Change directory to the root directory
cd "$root_dir" || exit

source sparktts/utils/parse_options.sh

# Run inference
python -m cli.inference \
    --text "${text}" \
    --device "${device}" \
    --save_dir "${save_dir}" \
    --model_dir "${model_dir}" \
    --prompt_text "${prompt_text}" \
    --prompt_speech_path "${prompt_speech_path}"
    
    

|--------------------|--------------|
| 传参 | 含义 |
| text | 需要克隆语音所对应的文本 |
| device | 指定显卡编号 |
| save_dir | 克隆语音的保存路径 |
| model_dir | 大模型的保存路径 |
| prompt_text | 样本语音的文本信息 |
| prompt_speech_path | 样本语音的保存路径 |

3.2 WebUI

3.2.1 启动

看到如下界面表示启动成功,在本地通过浏览器访问红框的网址;

bash 复制代码
# 在终端运行:
python webui.py --device 0

3.2.2 克隆

看到如下界面,黄框是语音克隆功能区:

序号一:上传本地待克隆的语音样本(好像不支持m4a格式,最好上传wav格式);

序号二:可以在线录制需要克隆的人的声音(1、2选择一个就可以);

序号三:添加需要克隆语音的文本,即命令行运行中的'text'参数;

序号四:上传或者录音的语音所对应的文本信息;

序号五:生成克隆语音的展示区;

序号六:上述1-4信息填写完成后点击开始克隆;

3.2.3 语音创作

看到如下界面,黄框是语音创作功能区:

序号一:可以选择生成语音的性别;

序号二:调整生成语音的音调;

序号三:调整生成语音的语速;

序号四:输入生成语音的文本信息;

序号五:点击开始创作,生成结果会展示在下方;

四、总结

整体体验感觉推理速度还是比较快的,但是在功能性上还是在效果上都有所欠缺;语音处理功能相较于之前测试的FunASR显得就比较单一;在克隆的效果上相较于之前测试的StepAudio也略有逊色;大家可以尝试一下,进行一下比较~

相关推荐
风口猪炒股指标2 分钟前
技术分析、超短线打板模式与情绪周期理论,在市场共识的形成、分歧、瓦解过程中缘起性空的理解
人工智能·博弈论·群体博弈·人生哲学·自我引导觉醒
ai_xiaogui27 分钟前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
聚客AI1 小时前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_387545642 小时前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
聽雨2372 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro2 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm2 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl3 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络
羊小猪~~3 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
摸爬滚打李上进3 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习