RTC实现VoiceAgent(二)

大家好,今天给大家介绍使用RTC pilot实现基于WebRTC的voice agent。

RTC pilot是基于c++17开发的,跨平台,支持服务集群的WebRTC服务。

上一期,把VoiceAgent功能集成到RTC Pilot SFU中。

Voice Agent主要功能,Voice Agent其实就等于 语音智能体,主要功能和特点是:能听,能想,能说,能实时、全双工、可打断地跟人聊天。也就是在它的回答过程中,你可以打断它的回答,提出新的问题。

VoiceAgent集成到SFU,也就是把ASR,TTS,转码等CPU密集型代码合入到SFU中。小白部署比较方便。

但把SFU从网络密集型变成CPU密集型。这种模式其实不方便做广泛的生产部署。

本期我们介绍独立的VoiceAgent服务。

talk is easy, show me the code.

复制代码
RTCPilot SFU服务端地址:https://github.com/runner365/RTCPilot
VoiceAgent地址:https://github.com/runner365/VoiceAgent
RTCPilot客户端地址:https://github.com/runner365/webrtc_js_client

这里是SFU开源地址,Voice Agent开源地址,和客户端开源地址。

VoiceAgent单独成为一个服务。

VoiceAgent项目是基于RTCPilot(WebRTC SFU)实现的实时语音对话 AI 智能体。

服务端主要有两个部分:

一,RTCPilot SFU:接入WebRTC服务

二,VoiceAgent:提供VAD,ASR,TTS等服务

下面我演示一下如何部署,和运行效果。见视频号内容后面部分(05:10分后)

RTC实现VoiceAgent(二)

当前VoiceAgent服务提供的VAD,ASR,TTS都是可以本地部署,不依赖外部云厂商。

  • VAD采用ten VAD
  • ASR采用Fun ASR
  • TTS采用sherpa-onnx,可以本地运行的c/c++开源。这个TTS开源模型比较小,可以不需要GPU,负载相对比较小。

上面的开源可以采用仅仅CPU就可以,服务可以运行在无GPU的服务器上。

后面也会增加新的ASR和TTS类型,也可以接入云厂商的ASR和TTS服务。

相关推荐
hhzz16 小时前
Tiger AI Platform平台中增加人脸识别功能
图像处理·人工智能·算法·计算机视觉·大模型
Byron Loong17 小时前
【视觉】工业相机通讯协议对比GigE Vision、USB3 Vision、CXP、CL、UVC、RTSP、NDI
计算机视觉·视觉检测·实时音视频
ApacheSeaTunnel19 小时前
Apache SeaTunnel AI CLI Benchmark:7 款大模型、100 个 ETL 任务实测,谁真正能跑起来?
大数据·ai·开源·大模型·数据集成·cli·seatunnel·技术分享·数据同步
寒水馨20 小时前
macOS下载、安装openclaw-v2026.7.1(附安装包OpenClaw-2026.7.1.dmg)
macos·大模型·github·开源软件·ai助手·openclaw·gpt-5.6
在水一缸1 天前
深度解析 Grok 4.5:当推理模型遇上大规模工程实践
人工智能·深度学习·大模型·工程实践·推理模型·混合专家架构·grok 4.5
程序员-李俞1 天前
向量引擎接入 SQL 问答沙箱前:只读权限、Base URL 和费用封顶怎么验收
人工智能·大模型·接口测试·api中转·ai api
FREEDOM_X1 天前
嵌入式 —— RTC/SNVS深入详解 —— i.MX6ULL
单片机·嵌入式硬件·实时音视频
寒水馨1 天前
Windows 11下载、安装openclaw-v2026.7.1(附安装包OpenClawCompanion-Setup-x64.exe)
windows·大模型·开源软件·ai助手·openclaw·个人ai·中文版
战族狼魂2 天前
高频面试题精选:分治与AI Agent架构
人工智能·算法·大模型·大语言模型
GPUStack2 天前
Day 0 实测|在 GPUStack 上部署 Inkling-BF16:8 卡 H20-141G 推理性能测试
ai·大模型·llm·gpu·vllm·gpu集群·sglang·gpustack