通过顶顶通呼叫中心中间件玩转FreeSWITCH媒体流

怎么获取FreeSWITCH的媒体流是一个老生常谈的问题了,最常见的方法media_bug,我在2019年就做的FreeSWITCH对接ASR开源的例子https://gitcode.net/iyaosan/FreeSWITCH-ASR用的就是media_bug,对接ASR常见的方法还有通过mod_mrcp模块对接mrcp的asrserver。

很多人需要直接获取原始的声音流,然后自己处理,其实FreeSWITCH也是支持的,只是知道的极少,FreeSWITCH原生支持 unicast 通过udp 把声音流推送到一个UDP端口,和播放网络的声音流。 fs实现的unicast,有一个缺陷如果启动了unicast 就没办法调用playback等放音函数了。

通过顶顶通呼叫中心中间件提供的 cti_unicast 则没这个缺点。可以不影响fs本身所有的功能情况下把媒体流推送到 远端udp端口,和播放网络声音。

cti_unicast 通过media_bug挂了2个回调SMBF_READ_STREAM和SMBF_WRITE_REPLACE,其中 SMBF_READ_STREAM,用来把媒体流推送到远端UDP端口,SMBF_READ_STREAM用来把远端发送来的声音混音到fs的放音。从而实现了完全不影响fs自身功能的前提下,实现推流和播放流。

顶顶通呼叫中心中间件还提供了tcp的推流和播放流函数 cti_audiao_stream。

这2个函数可以通过拨号方案启动,也可以通过 freeswitch esl 接口调用。

还有websocekt协议的播放流函数 wss://ip/tts?text=文字 可用于对接实时TTS。

顶顶通呼叫中心中间件ASR接口更高级的2个函数是

uuid_cti_start_detect_speech

用于质检 ,检测到说话实时推流给ASR,支持weboscket,mrcp等多种协议。用户说话停止自动停止推流。

cti_play_and_detect_speech

用于电话机器人,放音的时候检测用户说话,检测到说话实时推流给ASR,支持weboscket,mrcp等多种协议。支持多种打断模式,比如检测到人声打断,识别到多少文字打断。

详细可以看 http://www.ddrj.com/callcenter/asr.html

相关推荐
ZPC82103 小时前
FPGA 部署ONNX
人工智能·python·算法·机器人
feifeigo1235 小时前
基于DTW和HMM的语音识别仿真
人工智能·语音识别
拓端研究室7 小时前
2025人形机器人产业链全景分析报告:核心技术与市场趋势|附130+份报告PDF、数据、可视化模板汇总下载
机器人·pdf
CV炼丹术12 小时前
AAAI 2026|港科大等提出ReconVLA:利用视觉重构引导,刷新机器人操作精度!(含代码)
论文阅读·计算机视觉·重构·机器人·aaai 2026
机器人行业研究员15 小时前
人形机器人走猫步?关节力传感器成就小鹏IRON?
人工智能·机器学习·机器人·人机交互·六维力传感器·关节力传感器
EQ-雪梨蛋花汤1 天前
【讨论】VR + 具身智能 + 人形机器人:通往现实世界的智能接口
机器人·vr·具身智能·ai agent·通用人工智能·虚实融合
Yangy_Jiaojiao1 天前
开源视觉-语言-动作(VLA)机器人项目全景图(截至 2025 年)
人工智能·机器人
鲁邦通物联网2 天前
开发者实践:机器人梯控的 EC6200 功能与多品牌兼容解耦
机器人·机器人梯控·agv梯控·非侵入式采集
月下倩影时2 天前
ROS1基础入门:从零搭建机器人通信系统(Python/C++)
c++·python·机器人
心无旁骛~2 天前
ROS2 Action 通信详解:从自定义消息到 Server/Client 实现(附 MoveIt! 联动示例)
机器人