一款刚刚开源的TTS语音模型!25ms超低延迟支持实时对话,4种规格适配全场景!

在 TTS 领域,情感表达的自然度和实时性一直是两大挑战。传统模型往往在延迟和语音质量间难以平衡。

近两年 TTS 模型也发展的越来越好,也有越来越多的功能全面的 TTS 模型面世。

Orpheus TTS 是一款刚刚发布的开源 TTS 模型,它以其接近人类的自然情感表达、超低延迟的实时输出以及强大的零样本语音克隆能力,迅速成为开源社区关注的焦点。

不仅能生成流畅自然、充满情感的声音,还将延迟压缩到令人惊叹的 25-50 毫秒,完美适配实时对话场景。

并且提供了从 150M 到 3B 参数的四种型号,满足不同场景的需求。支持零样本语音克隆和灵活的情感控制,可让每个人都能轻松定制专属音色。

核心亮点

  • 超低延迟:支持实时流式推理,延迟低至约200毫秒,通过压缩最低可至 25-50 毫秒

  • 自然情感表达:支持丰富的情感和语调控制,支持高兴、悲伤、生气、困倦等多种情绪

  • 零样本语音克隆:无需预训练,仅需提供参考音频即可克隆目标音色

  • 提供 4 种模型规模:Medium (3B)、Small (1B)、Tiny (400M)、Nano (150M)

  • 端到端语音生成:还未上线,上线即可提升语音自然度、可控性及生成速度

快速使用

Orpheus TTS 的安装和使用过程简单,支持本地部署。

如果想要直接体验该TTS工具,HF平台上也有在线Demo可体验(需魔法)。

在线Demo:

huggingface.co/spaces/Moha...

本地部署步骤:

① 克隆项目

bash 复制代码
git clone https://github.com/canopyai/Orpheus-TTS.git
cd Orpheus-TTS

② 安装依赖

复制代码
pip install orpheus-speech

③ Python调用示例

ini 复制代码
from orpheus_tts import OrpheusModel
import wave
import time

model = OrpheusModel(model_name ="canopylabs/orpheus-tts-0.1-finetune-prod")
prompt = '''Man, the way social media has, um, completely changed how we interact is just wild, right? Like, we're all connected 24/7 but somehow people feel more alone than ever. And don't even get me started on how it's messing with kids' self-esteem and mental health and whatnot.'''

start_time = time.monotonic()
syn_tokens = model.generate_speech(
   prompt=prompt,
   voice="tara",
   )

with wave.open("output.wav", "wb") as wf:
   wf.setnchannels(1)
   wf.setsampwidth(2)
   wf.setframerate(24000)

   total_frames = 0
   chunk_counter = 0
   for audio_chunk in syn_tokens: # output streaming
      chunk_counter += 1
      frame_count = len(audio_chunk) // (wf.getsampwidth() * wf.getnchannels())
      total_frames += frame_count
      wf.writeframes(audio_chunk)
   duration = total_frames / wf.getframerate()

   end_time = time.monotonic()
   print(f"It took {end_time - start_time} seconds to generate {duration:.2f} seconds of audio")

写在最后

传统语音合成(TTS)系统面临三大核心挑战:情感表达生硬、推理延迟过高(普遍>500ms)、克隆音色需大量数据。

Orpheus TTS通过混合专家架构(MoE)与KV缓存优化,在150M到3B参数范围内实现:MOS评分达4.6、端到端延迟压至25ms、零样本语音克隆、超强情感控制。

适用于 AI 语音助手、游戏配音、有声读物、虚拟客服、智能语音交互等 多种应用,兼顾 高质量语音合成 & 实时交互体验,是当前最具潜力的开源 TTS 方案之一!

GitHub 项目地址:github.com/canopyai/Or...

相关推荐
学术小八39 分钟前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
nbsaas-boot2 小时前
Java 正则表达式白皮书:语法详解、工程实践与常用表达式库
开发语言·python·mysql
仗剑_走天涯2 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
chao_7892 小时前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
cnbestec3 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl3 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji4 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头5 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
如何原谅奋力过但无声5 小时前
上传GitHub步骤(自用版)
github
说私域5 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序