最近得知有人受mrcp的困扰,于是写了这篇小文,希望能有所帮助
- FreeSWITCH版本选择
目前当然选择1.10.10,不建议老版本,差别在于老版本用到的libmrcp比较旧,是1.2版本,bug比较多,有时会crash,而FreeSWITCH1.10.10用libmcrp1.6,要稳定很多
- 编译
编译不在本文的讨论范围,可能有点小麻烦,但可以解决
- 配置
可以找到FreeSWITCH1.10.6版本的vanilla配置,复制过来,可以这样做(以ali为例):
- modules.conf.xml里面增加 <load module="mod_unimrcp"/>
- unimrcp.conf.xml里面 <param name="default-tts-profile" value="ali"/> 和<param name="default-asr-profile" value="ali"/>
- mrcp_profiles目前下的文件只保留nuance-5.0-mrcp-v2.xml,其它的文件可以删除
- nuance-5.0-mrcp-v2.xml改名为ali.xml
- ali.xml里面, name改为ali,server-ip和server-port指向sdm的sip地址和sip端口
-
测试路由
<action application="answer" data=""> <action application="set" data="playback_delimiter=!"> <action application="set" data="tts_engine=unimrcp"> <action application="set" data="tts_voice=xiaoyan"> <action application="playback" data="say:'欢迎使用tts测试系统'!welcome.wav"> <action application="answer" data=""> <action application="speak" data="unimrcp|xiaoyan|欢迎使用tts测试系统">
本文没有提供asr例子,可以去别的地方去找
我觉得tts参数比较少,比较容易调试。先搞定tts, asr就不难了
- 调试
调试的主要方法是看日志和抓包,从sip invite开始看,里面一般是二个media,其中一个当然是rtp(关注c地址),另外一个就是mrcp(关注地址和mrcp端口)
- 常见问题
1.ali和tengxun如何并存?
同时放二个文件:ali.xml和tengxun.xml,当然,profile 名称不能一样,client-port不能一样
在应用层,tts_engine设置为unimrcp:ali或者设置为unimrcp:tengxun,这样就可以区别开了
2.tts和asr能不能分开,比如用ali asr,用tengxun的tts?
当然可以,so easy!
3.听不到tts,抓包发现tts server没有发rtp流过来,但sip流程正常
看fs的c地址是不是127.0.0.1,如果是,那么client-ip和rtp-ip不能配成auto(让fs自动找),要修改成$${local_ip_v4},或者写死,比如192.168.1.100(本机ipv4)。此外,如果有nat,那么client-ext-ip和rtp-ext-ip可能需要设置下。抓包能定位到这些问题(有兴趣的可以研究下mod_unimrcp.c)
3.1001 bridge 1002,需要同时识别,要怎么做
重点是2条腿都需要execute 'detect_speech'先启动,不能execute 'play_and_detect_speech',后者不能返回
在收到pause之后,execute 'detect_speech resume' 继续识别
下面给出启动时的lua代码:
Lua
function debug(s)
session:consoleLog("DEBUG", (s or "(NULL)") .. "\n")
end
debug("start-asr entry")
-- session:execute("info")
debug("caller = " .. session:getVariable("caller_id_number") .. " callee = " .. session:getVariable("destination_number"))
session:setVariable("fire_asr_events", "true")
-- 开始识别
session:execute("detect_speech", "unimrcp {start-input-timers=true,Speech-Complete-Timeout=10000,no-input-timeout=3000,recognition-timeout=60000}builtin:grammar/boolean?language=zh-CN;y=1;n=2 builtin")
-- session:execute("detect_speech", "param start-input-timers true")
-- session:execute("detect_speech", "param Recognition-Mode continuous")
debug("start-asr exit")
uuid_broadcast可以执行application,对esl程序可能有用(本人不会esl,好惭愧)
- 其它
sdm支持连续的语音识别,但mrcp不支持,或许以后可以修改源码来支持这个特性
dtmf mrcp支持,但sdm不支持,lua可以设置回调,可能可以解决识别的过程中收码的问题
function my_cb(s, type, obj, arg)
-- ...
end
blah = "w00t"
session:setInputCallback("my_cb", "blah")
session:execute("play_and_detect_speech",...
-- ...
本文完全是凭记忆写成的,或许以后可以适当补充日志。