freeswitch集成离线语音识别funasr

前言

教程只记录流程和重点环节,不记录详细代码

前面记录过freeswitch对接阿里的NlsSdkCpp3.X实现语音质检功能,NlsSdkCpp3.X服务是在线服务,费用可能对用户造成一定压力。所以本次记录下freeswitch对接阿里的离线语音识别funasr,通过对接funasr可以实现语音质检、智能客服实时语音交互等功能(打断、静音检测、识别修改等)。以下纪录本次集成过程,如有商务合作可主页联系,提供freeswitch的开发和各类asr、tts产品开发以及完整呼叫中心产品(可二次开发扩展)

流程图

流程中至画了本次涉及内容,其实在识别结果服务后还可以加nlp模型用来检索应答。这样lua中就可以直接做应答操作。

黄色、绿色部分是不同流程,二选一即可,需要自行修改。本次按照黄色部分开发,因为后续要检索应答,绿色流程是模块将识别结果放到通道参数中,lua从通道参数中获取,后续lua将识别结果发送给应答服务获取应答。另外模块中也可以将识别结果放到event中,通过esl获取识别结果,不过多赘述

安装

一、freeswitch-1.10.5.-release

freeswitch选择的版本是1.10.5.-release。因为后续用的的mod_fun_asr有版本限制,我是根据mod源码中调用freeswitch方法去freeswitch中找对应符合版本的。向上版本应该都可以,但是之前的1.6版本是不行的。安装方法参照以下链接

centos7.9下安装freeswitch-1.10.5.-release详细教程(极其简单)

二、mod_fun_asr

对接funasr服务的模块,github或geegit上不少,随便找个就行。找不到的用我编译好的

mod_fun_asr

xml文件放到/usr/local/freeswitch/conf/autoload_configs目录下,so文件放到/usr/local/freeswitch/mod下

/usr/local/freeswitch/conf/autoload_configs/modules.conf.xml下增加<load module="mod_fun_asr"/>

freeswitch启动后控制台执行load mod_fun_asr

注意xml中修改ws地址和识别传送地址。识别接收服务自己搭建,ws地址是下面阿里服务启动的地址。

三、阿里funasr语音识别服务

https://github.com/modelscope/FunASR/blob/main/runtime/docs/SDK_advanced_guide_online_zh.md

参照里面教程安装即可

四、lua逻辑

逻辑控制需要lua来实现,语音交互流程就是在脚本中放音同时检测识别信号(模块中以实现,有信号输入后通道变量speak_result=1),当检测到输入信号后打断放音,同时获取识别或应答结果,之后就是循环上述流程。lua中放音可以用uuid_displace不阻塞进程,playback阻塞进程

相关推荐
海盗1234几秒前
微软技术日报 2026-10-24:CA 私钥是 4,Windows 封了中间证书未动父根
人工智能·机器人·aigc·1024程序员节
“AI国潮设计-小江”3 分钟前
AIGC实战:Python+SDXL批量生成英歌舞IP立牌,解锁猪猪蛋糕“反差萌”流量密码(附完整API源码)
开发语言·人工智能·python·prompt·aigc
合尘猫3 分钟前
AI客服国标落地一个月:从工程角度看,真正要改的是三处数据结构
数据库·人工智能·架构
长不大的杨瑞杰4 分钟前
OpenCode v2 CI 与自动化实战:无交互运行、权限收口与制品闭环
运维·人工智能·ci/cd·自动化·软件工程·1024程序员节
远航计算机14 分钟前
收录从分钟级变 3 到 7 天,抢首发为什么失效了
大数据·人工智能·爬虫·chatgpt·aigc·1024程序员节
奈落2416 分钟前
从“你问它答”到“它主动推”:ChatGPT Pulse 把记忆、反馈和日历变成一条信息策划流水线
人工智能·chatgpt·ai 编程
xieyan081118 分钟前
笔记不只是仓库:让 AI 帮旧想法重新参与思考
人工智能·笔记
CRMEB系统商城21 分钟前
服装连锁的导购分销与企微私域
java·大数据·开发语言·人工智能·小程序·php·1024程序员节
拓恒技术22 分钟前
城市管理中的无人机AI识别算法:架构、场景与落地
人工智能·算法·视觉检测·无人机·1024程序员节