一天一个开源项目（第12篇）：SoulX-Podcast - 多轮对话式播客生成，让AI语音更自然真实

冬奇Lab2026-02-05 17:52

引言

"如果AI能生成像真实播客一样自然的对话，支持多轮交互、不同方言，还能加入笑声、叹息等真实情感，那该多好？"

这是"一天一个开源项目"系列的第12篇文章。今天带你了解的项目是 SoulX-Podcast （GitHub）。

传统的TTS系统主要面向单说话人、单轮对话，生成的语音缺乏真实对话的自然感。SoulX-Podcast专为播客风格的多轮、多说话人对话式语音生成而设计，不仅支持跨方言的零样本语音克隆，还能控制副语言事件（如笑声、叹息），让AI生成的语音更自然、更真实，真正达到播客级别的质量。

你将学到什么

  • SoulX-Podcast的核心架构和技术特点
  • 多轮、多说话人对话式语音生成的实现原理
  • 跨方言零样本语音克隆的技术突破
  • 副语言控制（笑声、叹息等）的实现方式
  • 如何使用SoulX-Podcast生成高质量播客
  • 与其他TTS系统的对比分析
  • WebUI和API的使用方法

前置知识

  • 对TTS（文本转语音）有基本了解
  • 了解语音合成的基本概念
  • 熟悉Python编程（可选）
  • 对零样本学习有基本认识（可选）

项目背景

项目简介

SoulX-Podcast 是一个专为播客风格的多轮、多说话人对话式语音生成而设计的TTS系统，由Soul AI团队开发。它不仅能在传统的单说话人TTS任务上表现优异，更重要的是实现了高质量的多轮对话式语音生成，让AI生成的语音更接近真实播客的自然感。

项目解决的核心问题：

  • 传统TTS系统只支持单说话人、单轮对话
  • 缺乏多轮对话的上下文理解和连贯性
  • 无法生成多说话人之间的自然对话
  • 缺乏方言支持，无法实现跨方言语音克隆
  • 生成的语音缺乏真实情感表达（如笑声、叹息等副语言）

面向的用户群体：

  • 需要生成播客内容的创作者
  • 需要多说话人对话式语音的应用开发者
  • 需要方言语音合成的开发者
  • 需要高质量、自然语音合成的AI应用开发者
  • 对语音合成质量有高要求的开发者

作者/团队介绍

团队：Soul AI Lab

  • 背景：专注于语音技术和AI的科研团队
  • 贡献者：4位核心贡献者
  • 理念：打造高质量、自然、真实的播客风格语音生成系统
  • 相关成果：发表相关技术论文，在Hugging Face上提供模型和Demo

项目创建时间：2025年10月（从GitHub活动来看是持续活跃的项目）

项目数据

  • ⭐ GitHub Stars: 3.1k+（持续快速增长）
  • 🍴 Forks: 403+
  • 📦 版本: 最新版本（持续更新）
  • 📄 License: Apache-2.0

项目发展历程：

  • 2025年10月：项目创建，发布初始版本
  • 2025年10月28日：论文发表
  • 2025年10月29日：模型在Hugging Face上发布
  • 2025年10月30日：添加WebUI和单说话人TTS示例
  • 2025年10月31日：部署Hugging Face在线Demo
  • 2025年11月3日：支持vLLM加速和Docker部署

主要功能

核心作用

SoulX-Podcast的核心作用是生成高质量、自然、真实的播客风格多轮对话式语音，主要功能包括：

  1. 多轮、多说话人对话式语音生成：支持多个说话人之间的自然对话，保持上下文连贯性
  2. 跨方言零样本语音克隆：支持四川话、河南话、粤语等方言，只需提供参考音频即可克隆
  3. 副语言控制：支持笑声、叹息、呼吸、咳嗽、清嗓等副语言事件，增强真实感
  4. 高质量单说话人TTS：在传统单说话人TTS任务上也表现优异
  5. 多语言支持：支持中文（普通话和多种方言）和英文

使用场景

  1. 播客内容生成

    • 自动生成播客对话内容
    • 多说话人之间的自然对话
    • 添加真实的情感表达（笑声、叹息等）

  2. 有声书制作

    • 多角色对话的有声书
    • 不同方言角色的语音生成
    • 自然的情感表达

  3. 教育内容制作

    • 多说话人的教学对话
    • 不同方言的教学内容
    • 生动的对话式教学

  4. 游戏和娱乐应用

    • 游戏角色的语音生成
    • 不同方言的角色语音
    • 丰富的副语言表达

  5. 辅助技术应用

    • 为视障用户生成自然对话
    • 个性化语音助手
    • 多语言、多方言的语音服务

快速开始

安装步骤：

bash 复制代码 
# 1. 克隆仓库
git clone https://github.com/Soul-AILab/SoulX-Podcast.git
cd SoulX-Podcast

# 2. 创建Conda环境
conda create -n soulxpodcast -y python=3.11
conda activate soulxpodcast

# 3. 安装依赖
pip install -r requirements.txt

# 4. 下载模型
pip install -U huggingface_hub
huggingface-cli download --resume-download Soul-AILab/SoulX-Podcast-1.7B \
  --local-dir pretrained_models/SoulX-Podcast-1.7B

最简单的使用示例：

bash 复制代码 
# 使用WebUI（最简单的方式）
python3 webui.py --model_path pretrained_models/SoulX-Podcast-1.7B

# 或者使用方言模型
python3 webui.py --model_path pretrained_models/SoulX-Podcast-1.7B-dialect

# 使用命令行示例脚本
bash example/infer_dialogue.sh

Python代码示例：

python 复制代码 
from soulxpodcast import SoulXPodcast

# 初始化模型
model = SoulXPodcast(model_path="pretrained_models/SoulX-Podcast-1.7B")

# 生成多说话人对话
dialogue = [
    {"speaker": "主持人", "text": "欢迎来到今天的播客节目！"},
    {"speaker": "嘉宾", "text": "谢谢邀请！<|laughter|>今天很高兴来到这里。"},
    {"speaker": "主持人", "text": "让我们开始今天的讨论吧。"}
]

# 生成语音
audio = model.generate_dialogue(dialogue, reference_audios={
    "主持人": "path/to/host_audio.wav",
    "嘉宾": "path/to/guest_audio.wav"
})

# 保存音频
model.save_audio(audio, "output_podcast.wav")

核心特性

  1. 多轮、多说话人对话式语音生成

    • 支持多个说话人之间的自然对话
    • 保持上下文连贯性和对话流畅性
    • 每个说话人可以有不同的语音特征

  2. 跨方言零样本语音克隆

    • 支持四川话、河南话、粤语等方言
    • 只需提供参考音频即可克隆
    • 无需针对每种方言单独训练模型

  3. 副语言控制

    • 支持多种副语言标签：<|laughter|>、<|sigh|>、<|breathing|>、<|coughing|>、<|throat_clearing|>
    • 增强语音的真实感和自然度
    • 让AI生成的语音更接近人类表达

  4. 高质量单说话人TTS

    • 在传统单说话人TTS任务上表现优异
    • 支持长文本语音合成
    • 生成自然、清晰的语音

  5. 多语言支持

    • 支持中文（普通话和多种方言）
    • 支持英文
    • 可以混合使用多种语言

  6. WebUI界面

    • 友好的图形界面
    • 简单易用的操作流程
    • 实时预览和调整

  7. API支持

    • 提供RESTful API接口
    • 方便集成到其他应用
    • 支持批量处理

  8. vLLM加速

    • 支持vLLM推理加速
    • Docker部署支持
    • 提高生成速度

项目优势

对比项 SoulX-Podcast 传统TTS 其他对话式TTS
多说话人对话 ✅ 原生支持 ❌ 不支持 ⚠️ 有限支持
多轮对话 ✅ 上下文连贯 ❌ 单轮 ⚠️ 有限支持
方言支持 ✅ 零样本跨方言 ❌ 不支持 ❌ 不支持
副语言控制 ✅ 多种副语言 ❌ 不支持 ❌ 不支持
语音质量 ✅ 播客级别 ⚠️ 一般 ⚠️ 一般
自然度 ✅ 高自然度 ⚠️ 中等 ⚠️ 中等
零样本克隆 ✅ 支持 ⚠️ 有限 ⚠️ 有限

为什么选择SoulX-Podcast？

相比传统TTS和其他对话式TTS系统，SoulX-Podcast专为播客风格的多轮、多说话人对话而设计，支持跨方言零样本语音克隆和副语言控制，生成的语音更自然、更真实，是播客内容生成和高质量对话式语音合成的理想选择。

项目详细剖析

架构设计

SoulX-Podcast采用基于Transformer的生成式架构，专门针对多轮、多说话人对话式语音生成进行了优化。

核心架构
复制代码 
SoulX-Podcast System
├── Text Processing（文本处理）
│   ├── 多说话人对话解析
│   ├── 副语言标签识别
│   ├── 上下文理解
│   └── 多语言处理
├── Voice Cloning（语音克隆）
│   ├── 参考音频编码
│   ├── 说话人特征提取
│   ├── 跨方言特征迁移
│   └── 零样本克隆
├── Speech Generation（语音生成）
│   ├── 多轮对话生成
│   ├── 副语言事件生成
│   ├── 上下文连贯性保持
│   └── 高质量音频合成
└── Model Architecture（模型架构）
    ├── Transformer Encoder
    ├── Multi-Speaker Attention
    ├── Dialect-Aware Module
    └── Paralinguistic Control Module
多轮对话生成

SoulX-Podcast的核心创新在于多轮对话的上下文理解：

工作流程：

  1. 解析多说话人对话文本
  2. 提取每个说话人的参考音频特征
  3. 理解对话的上下文和连贯性
  4. 生成保持上下文连贯性的语音
  5. 处理说话人之间的自然过渡

技术特点：

  • 使用Transformer架构处理长序列
  • 多说话人注意力机制
  • 上下文窗口管理
  • 对话连贯性建模
跨方言零样本语音克隆

SoulX-Podcast实现了跨方言的零样本语音克隆，这是一个重要的技术突破：

工作原理：

  1. 提取参考音频的说话人特征（不依赖方言）
  2. 识别目标方言的语言特征
  3. 将说话人特征迁移到目标方言
  4. 生成目标方言的语音

支持的方言：

  • 四川话
  • 河南话
  • 粤语
  • 其他中文方言（通过模型扩展）

优势：

  • 无需针对每种方言单独训练
  • 只需提供参考音频即可克隆
  • 保持说话人的语音特征
  • 准确还原方言特色
副语言控制

SoulX-Podcast支持多种副语言事件，增强语音的真实感：

支持的副语言标签：

  • <|laughter|>：笑声
  • <|sigh|>：叹息
  • <|breathing|>：呼吸声
  • <|coughing|>：咳嗽声
  • <|throat_clearing|>：清嗓声

实现方式：

  1. 在文本中插入副语言标签
  2. 模型识别标签并生成对应的音频事件
  3. 自然融入语音流中
  4. 保持语音的连贯性

应用示例：

python 复制代码 
# 在文本中使用副语言标签
text = "今天天气真好！<|laughter|>我们出去走走吧。<|sigh|>不过要注意防晒。"

# 模型会自动识别并生成对应的副语言事件
audio = model.generate(text, reference_audio="speaker.wav")
模型架构

SoulX-Podcast基于1.7B参数的Transformer模型：

模型特点：

  • 参数量：1.7B（基础模型和方言模型）
  • 架构：基于Transformer的生成式模型
  • 训练数据：大规模多说话人对话数据
  • 优化：针对多轮对话和方言支持优化

两个版本：

  1. SoulX-Podcast-1.7B：基础模型，支持多轮对话和副语言控制
  2. SoulX-Podcast-1.7B-dialect：方言模型，额外支持跨方言零样本克隆

关键技术实现

多说话人对话处理

SoulX-Podcast通过以下方式处理多说话人对话：

  1. 说话人标识：为每个说话人分配唯一标识
  2. 参考音频管理：为每个说话人提供参考音频
  3. 上下文管理：维护多轮对话的上下文信息
  4. 特征提取：从参考音频中提取说话人特征
  5. 对话生成：生成保持说话人特征的对话语音
零样本语音克隆

零样本语音克隆的实现：

  1. 特征解耦：将说话人特征和语言特征解耦
  2. 特征提取：从参考音频中提取说话人特征
  3. 特征迁移：将说话人特征迁移到目标语言/方言
  4. 语音生成：基于迁移后的特征生成语音
副语言事件生成

副语言事件的生成方式：

  1. 标签识别：识别文本中的副语言标签
  2. 事件建模：为每种副语言事件建立模型
  3. 自然融入：将副语言事件自然融入语音流
  4. 时序对齐：确保副语言事件在正确的时间点出现

使用方式

WebUI使用

SoulX-Podcast提供了友好的WebUI界面：

bash 复制代码 
# 启动WebUI（基础模型）
python3 webui.py --model_path pretrained_models/SoulX-Podcast-1.7B

# 启动WebUI（方言模型）
python3 webui.py --model_path pretrained_models/SoulX-Podcast-1.7B-dialect

WebUI功能：

  • 文本输入和编辑
  • 参考音频上传
  • 副语言标签插入
  • 实时预览和调整
  • 音频导出
API使用

SoulX-Podcast提供API接口：

bash 复制代码 
# 启动API服务
python3 run_api.py --model_path pretrained_models/SoulX-Podcast-1.7B

API端点：

  • /generate：生成单说话人语音
  • /generate_dialogue：生成多说话人对话
  • /clone_voice：零样本语音克隆
vLLM加速

SoulX-Podcast支持vLLM加速：

bash 复制代码 
# 构建Docker镜像
cd runtime/vllm
docker build -t soulxpodcast:v1.0 .

# 运行容器
docker run -it --runtime=nvidia --name soulxpodcast \
  -v /mnt/data:/mnt/data -p 7860:7860 soulxpodcast:v1.0

优势：

  • 更快的推理速度
  • 更好的GPU利用率
  • 支持批量处理
  • 易于部署和扩展

与其他项目的对比

与Supertonic对比
特性 SoulX-Podcast Supertonic
主要用途 播客风格多轮对话 设备端单说话人TTS
多说话人 ✅ 原生支持 ❌ 不支持
多轮对话 ✅ 上下文连贯 ❌ 单轮
方言支持 ✅ 零样本跨方言 ⚠️ 有限
副语言控制 ✅ 多种副语言 ❌ 不支持
部署方式 云端/本地 设备端
性能 高质量 极速

选择建议：

  • 需要播客风格多轮对话 → SoulX-Podcast
  • 需要设备端极速TTS → Supertonic
与其他对话式TTS对比

SoulX-Podcast相比其他对话式TTS系统的优势：

  1. 专为播客设计：专门针对播客风格的多轮对话优化
  2. 跨方言支持：独特的跨方言零样本克隆能力
  3. 副语言控制：丰富的副语言事件支持
  4. 高质量生成：播客级别的语音质量
  5. 易于使用：友好的WebUI和API接口

项目地址与资源

官方资源

适用人群

SoulX-Podcast特别适合：需要生成播客内容的创作者、需要多说话人对话式语音的应用开发者、需要方言语音合成的开发者、需要高质量、自然语音合成的AI应用开发者、对语音合成质量有高要求的开发者、需要副语言控制的应用开发者。

不适合：只需要简单单说话人TTS的用户、对模型大小有严格限制的设备端应用、不需要多轮对话的场景。

欢迎来我中的个人主页找到更多有用的知识和有趣的产品

相关推荐
风栖柳白杨1 小时前
【语音识别】一些音频的使用方法
人工智能·音视频·语音识别
xixixi777772 小时前
今日 AI 、通信、安全行业前沿日报（2026 年 2 月 4 日，星期三）
大数据·人工智能·安全·ai·大模型·通信·卫星通信
LucDelton2 小时前
模型微调思路
人工智能·深度学习·机器学习
寻道码路2 小时前
【GitHub开源AI精选】WhisperX：70倍实时语音转录、革命性词级时间戳与多说话人分离技术
人工智能·开源·github
小王不爱笑1322 小时前
LangChain4J 整合多 AI 模型核心实现步骤
java·人工智能·spring boot
码农三叔2 小时前
（9-3）电源管理与能源系统：充电与扩展能源方案
人工智能·嵌入式硬件·机器人·能源·人形机器人
2401_863801462 小时前
怎么把多个glb/gltf格式模型，导出保存一个个物体，只保留自己想要的部分
人工智能
一切皆有可能！！2 小时前
昇腾atlas 300I duo部署Qwen3-8B完整实战：从选型到成功运行
人工智能·大模型·昇腾·大模型部署
问道财经2 小时前
和飞书合作，安克没能走出舒适区
人工智能
热门推荐
01GitHub 镜像站点02一文了解国产算子编程语言 TileLang，TileLang 对国产开源生态的影响与启示03Vue-skills的中文文档04Claude Code Skills 实用使用手册05让 Trae IDE 智能体 “读懂”文档 Excel+PDF+DOCX ：mcp-documents-reader 工具使用指南06Claude Code + GLM4.7 避坑指南：解决 Unable to connect to Anthropic services07UV安装并设置国内源08OpenClaw部署与配置教程：在Mac mini上接入国产大模型与飞书09在Trae中使用Pencil MCP10OpenCode 入门教程：介绍 · 安装 · 配置第三方 API (如 Claude)