太逼真!豆包 · 播客模型来了:一句话生成「苏超联赛」播客,很懂 13 太保的梗

家人们,又有好玩儿的 AI 出现了------

火山引擎 发布豆包 · 播客模型!

来来来,我们直接听一段:

如何?是不是有亿点点被惊艳到了?

两个 AI 的对话不论是语气、停顿、口语化,简直跟真人没有差别。

男生 AI 在讲解故事的过程中,女生 AI 会时不时穿插 "嗯"、"没错"、"对" 这样的词儿来应和。

我们甚至拿着这个 demo 问了一圈身边的人,他们竟然清一色没有发觉这是 AI!

豆包 · 播客模型背后的技术,是基于端到端的实时语音交互模型进行的场景拓展,具备强大的文本理解与高表现力语音生成能力。

为了营造出逼真的双人对谈感觉,团队对大量播客内容进行了细致的体验拆解,分析真人对话的节奏、自然度、信息密度以及口语化表现等维度,并找了专业的播客内容创作者进行充分碰撞和优化,在后续数据生产、模型效果、评测标准上进行了细致打磨。

在端到端语音交互模型的预训练环节,字节跳动语音技术团队还添加了大量语音跟文本充分对齐的数据,让模型学习到正常人交互的模式以及在播客题材下应采用的语音播报形式。

在 SFT(Supervised Fine - Tuning)阶段,团队基于数据生产层面进行精细的内容微调,针对想要的风格进行上层调整。通过大量细致的标注,使模型能够理解如何让整个听感更像真人,从而在播客场景下激发出具体效果。

除此之外,豆包 · 声音复刻模型方面也进行了框架的升级。

以往行业内的复刻模型虽能通过少量 Prompt 输入复刻用户声音,但只能学到 "形",难以学到 "神"。

豆包 · 声音复刻模型不仅能复刻音色,还能根据对话上下文给予更加动态的回复,在情绪层面进行匹配,甚至能够让复刻声音实现原本发音人不能实现的能力,如唱歌、唱 Rap 等,使声音更加拟人、灵动。

据了解,豆包 · 实时语音模型即将在马上到来的火山引擎 Force 大会中全量上线;更多播客的玩法也会陆续在豆包 PC 版中上线。

总而言之,火山引擎在 AI 语音上的发力,尤其是豆包 · 播客模型,不仅仅是增添了 AI 新玩法,更是可以更高效、更个性化的通过 "听" 获取信息,同时把音频创作这件事的门槛再次打了下去。

One More Thing:

最后,我们还将这篇文章 "投喂" 给了豆包 · 播客模型,让它自己对自己做了一期播客。

来听一下效果吧~

扣子空间的体验地址放下面了,目前豆包 PC 端也能体验 "网页播客" 的功能,感兴趣的小伙伴快去感受一下吧~

扣子空间地址:

space.coze.cn

欢迎在评论区留下你的想法!

--- ---

相关推荐
默 语2 小时前
IPIDEA 代理技术在海外品牌社媒数据采集中的实操落地(Instagram 营销分析案例版)
java·人工智能·ai·ai编程
a2006380125 小时前
【AI-提效】svn diff 配置 bcompare
svn·ai编程
博客胡19 小时前
Python-fastAPI的学习与使用
学习·fastapi·ai编程
YuMiao20 小时前
WSL2 (Manjaro) 环境下 Google Antigravity AI服务网络连接与环境配置问题
ai编程
yuhaiqun198920 小时前
Typora 技能进阶:从会写 Markdown 到玩转配置 + 插件高效学习笔记
经验分享·笔记·python·学习·学习方法·ai编程·markdown
方始终_1 天前
用Spec-kit踩完3个坑后才明白,Constitution才是真正的起点!
ai编程·cursor
喝牛奶的小蜜蜂1 天前
微信小程序|云环境共享-使用指南
前端·微信小程序·ai编程
用户4099322502121 天前
Vue3动态样式控制:ref、reactive、watch与computed的应用场景与区别是什么?
后端·ai编程·trae
这儿有一堆花1 天前
将 AI 深度集成到开发环境:Gemini CLI 实用指南
人工智能·ai·ai编程
磊磊磊磊磊1 天前
一周做了个文章排版工具,分享下如何高效省钱用AI!
ai编程·产品·cursor