教程上新丨支持 600+ 语言,小米开源 OmniVoice:仅需 3-10 秒参考音频实现语音克隆

随着 AI 语音技术快速发展,文本转语音(TTS)模型正从「能说话」迈向「像真人一样自然交流」,但在多语言覆盖、零样本语音克隆以及复杂口音与方言支持等方面,现有系统仍普遍面临生成链路复杂、训练成本高、跨语言泛化能力有限等问题。

在这一背景下,OmniVoice 的发布,为多语言语音生成带来了新的突破。该模型由 Xiaomi AI Lab Next-gen Kaldi 团队推出,支持超过 600 种语言,并同时具备 Voice Clone、Voice Design 与 Auto Voice 等能力。相比传统 TTS 模型普遍采用的「文本→语义→声学」两阶段生成流程,OmniVoice 采用了一种类似扩散语言模型的离散非自回归(NAR)架构,可直接将文本映射为多码本声学 token,大幅简化了语音生成链路。

这种架构上的变化,不仅降低了传统离散 NAR 模型在复杂流程中的性能瓶颈,也让 OmniVoice 在语音自然度、可懂度以及跨语言一致性上取得了更好的表现。与此同时,模型还引入全码本随机掩码训练策略,并基于预训练大语言模型进行初始化,在提升训练效率的同时,进一步增强了语音生成质量。

更重要的是,OmniVoice 并不只是一个「支持多语言」的 TTS 模型。它不仅覆盖中文、英文、日文、韩文等主流语言,还支持河南话、四川话、东北话等中文方言,以及美式、英式、澳式、印度口音等多种英语变体。配合仅需数秒参考音频即可完成的零样本语音克隆能力,使其在 AI 配音、数字人、跨语言内容生成以及全球化语音交互等场景中展现出极强的应用潜力。

目前,OpenBayes 官网已上线「 OmniVoice:支持 600+ 语言的高质量 TTS 」教程, 一键即可启动,低门槛部署。

在线运行链接:

go.openbayes.com/0BfZi

demo 运行示例

Demo 运行

01 Demo 运行阶段

1.登录 OpenBayes.com,在「公共教程」页面,搜索并选择「OmniVoice:支持 600+ 语言的高质量 TTS」教程。

2.页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

3.选择「NVIDIA RTX 5090」以及「PyTorch」,点击「继续执行」。新用户使用下方邀请链接注册,即可获得满 ¥10 赠 ¥10 优惠券,更有机会获得 ¥15 赠金!

小贝总专属邀请链接(直接复制到浏览器打开):

*go.openbayes.com/9S6Dr

4.等待分配资源,当状态变为「运行中」后,点击「打开工作空间」进入 Jupyter Workspace。

02 效果演示

1.页面跳转后,点击左侧 README.ipynb 文件,进入后运行文件。

2.待运行完成,即可点击右侧 API 地址跳转至 demo 页面。

教程链接:

go.openbayes.com/0BfZi

相关推荐
过去式的美好几秒前
阿里云 2 核 2G 服务器搭建 AI 知识库:从 0 到可用(附踩坑实录)
服务器·人工智能·阿里云
薛定谔的悦2 分钟前
储能系统CAN通信抽象层解读
人工智能·能源·储能
江畔柳前堤6 分钟前
AgentScope 设计与原理全解:从消息原语到分布式智能体工程底座
大数据·人工智能·分布式·目标检测·机器学习·语言模型·架构
Yiran_G8 分钟前
低功耗 Zigbee 模组怎么选?基于 CC2340R53 的 WS8823 设计实践
人工智能·物联网·智能家居
Elastic 中国社区官方博客8 分钟前
跳过有状态的 OTel Collector:Elasticsearch 9.5 原生存储两种指标时间类型
大数据·人工智能·elasticsearch·搜索引擎·重构·全文检索
show4338 分钟前
2026小程序端AI智能优化技术实践:转文字后自动纠错+润色+分段算法分析
人工智能·算法·小程序
今天AI了吗10 分钟前
Agent & AI 名词大扫盲
数据库·人工智能·python·sql·rust
iaku10 分钟前
Prompt 不是玄学:写给前端的 Prompt 工程指南
前端·人工智能
武子康12 分钟前
从 Pi 学习设计自己的 Agent Harness:一条可验证的垂直生产线
人工智能·llm·agent
HAHAXX813 分钟前
从传统RPA到AI增强RPA:内网离线部署、元素自愈与Prompt工程落地实践
人工智能·prompt·rpa