RTC实现VoiceAgent(二)

大家好,今天给大家介绍使用RTC pilot实现基于WebRTC的voice agent。

RTC pilot是基于c++17开发的,跨平台,支持服务集群的WebRTC服务。

上一期,把VoiceAgent功能集成到RTC Pilot SFU中。

Voice Agent主要功能,Voice Agent其实就等于 语音智能体,主要功能和特点是:能听,能想,能说,能实时、全双工、可打断地跟人聊天。也就是在它的回答过程中,你可以打断它的回答,提出新的问题。

VoiceAgent集成到SFU,也就是把ASR,TTS,转码等CPU密集型代码合入到SFU中。小白部署比较方便。

但把SFU从网络密集型变成CPU密集型。这种模式其实不方便做广泛的生产部署。

本期我们介绍独立的VoiceAgent服务。

talk is easy, show me the code.

复制代码
RTCPilot SFU服务端地址:https://github.com/runner365/RTCPilot
VoiceAgent地址:https://github.com/runner365/VoiceAgent
RTCPilot客户端地址:https://github.com/runner365/webrtc_js_client

这里是SFU开源地址,Voice Agent开源地址,和客户端开源地址。

VoiceAgent单独成为一个服务。

VoiceAgent项目是基于RTCPilot(WebRTC SFU)实现的实时语音对话 AI 智能体。

服务端主要有两个部分:

一,RTCPilot SFU:接入WebRTC服务

二,VoiceAgent:提供VAD,ASR,TTS等服务

下面我演示一下如何部署,和运行效果。见视频号内容后面部分(05:10分后):

RTC实现VoiceAgent(二)

当前VoiceAgent服务提供的VAD,ASR,TTS都是可以本地部署,不依赖外部云厂商。

  • VAD采用ten VAD
  • ASR采用Fun ASR
  • TTS采用sherpa-onnx,可以本地运行的c/c++开源。这个TTS开源模型比较小,可以不需要GPU,负载相对比较小。

上面的开源可以采用仅仅CPU就可以,服务可以运行在无GPU的服务器上。

后面也会增加新的ASR和TTS类型,也可以接入云厂商的ASR和TTS服务。

相关推荐
迷糊小面包4 小时前
DeepSeek Harness 接入GLM-5.
大模型
M--Y4 小时前
LangChain 提示工程:少样本提示与输出解析器
python·langchain·大模型·llm·输出解析器·少样本提示
爱笑的k115 小时前
实践中layernormal的计算方式
大模型·ai infra
福大大架构师每日一题5 小时前
mediamtx v1.21.2发布:UDP、JWT、RTSP、RTMP、HLS、WebRTC全面修复,稳定性与安全性再提升
网络协议·udp·webrtc
Guarding and trust6 小时前
项目拆解(二):模型输出是‘野‘的——三层兜底+重分析,把AI变成可靠零件
java·人工智能·python·大模型·fastapi·ollama·错误兜底
星核0penstarry8 小时前
企业接入多家 AI API,聚合平台能解决什么、不能解决什么
人工智能·大模型·ai编程·合规·api聚合平台·大模型网关·接入层
for_ever_love__8 小时前
LangChain Text-to-SQL:让不会写 SQL 的人查数据库
数据库·sql·langchain·大模型·agent·rag·问答
问天_观心9 小时前
Mistral-7B QLoRA 实战(二):官方权重转换、4-bit NF4 加载与 Base Model 基线测试
人工智能·深度学习·学习·大模型·transformer
倔强的石头1069 小时前
Gemini架构解析_多模态大模型的设计思路
人工智能·大模型
前端大斗师19 小时前
「大于 1000」把 1000 元那单也算进去了:我在 Vue3 订单页对了 10 句话
前端·人工智能·typescript·大模型·原力计划