TV蓝牙遥控器近场语音自研

TV蓝牙遥控器近场语音自研


一、近场语音功能实现过程

1.按下语音键,遥控器通过蓝牙协议通知TV端语音键按下的事件

2.BT模块检测按键信息,通知BT驱动启动录音数据传输;同时通知audio framework设备可用;通知亚马逊近场app开始录音

3.audio framework收到setwireDeviceConnection通知后,创建音频流进行探测,如果open/close成功,将设备加入到Available input devices管理

4.亚马逊近场app通过AudioRecord启动录音,在btle audio hal接口创建音频流,然后执行read操作

5.btle audio hal操作:打开/dev/bleremote_audio设备节点,获取音频数据,做协议解码,然后将解码后的录音流传给app做识别处理

(在读操作之前,先从设备节点获取蓝牙遥控器编码协议,选择合适的解码库将音频解析成pcm格式,常用opus编码)

二、近场语音问题分析
1./dev/bleremote_audio设备节点open失败

原因:selinux权限问题、读写权限问题
2./dev/bleremote_audio设备节点ioctl报错

原因:驱动问题,检查驱动状态
3.APM::TclAudioPolicyEngine打印的availableDevices找不到相关设备AUDIO_DEVICE_IN_BLUETOOTH_BLE

例如:APM::TclAudioPolicyEngine: getForceDevice, inputSource=6, device=84000000 availableDevices is {AUDIO_DEVICE_IN_BUILTIN_MIC, @:bottom;AUDIO_DEVICE_IN_REMOTE_SUBMIX, @:0;AUDIO_DEVICE_IN_LOOPBACK, @:;AUDIO_DEVICE_IN_PROXY, @:SUPPRESSED;AUDIO_DEVICE_IN_ECHO_REFERENCE, @:}

原因1:检查dumpsys audio信息,是不是没有setWiredDeviceConnectionState状态设置

原因2:探测执行adev_open_input_stream失败导致,可能是上面/dev/bleremote_audio权限问题
4.APM::TclAudioPolicyEngine选择设备错误,选择了BUILTIN_MIC

原因1:audio policy当前根据BT传输的信息的name:AR来做的判断,如果name改变,流程判断会打开BUILTIN_MIC

原因2:audio policy逻辑异常,具体原因根据日志分析,关键打印APM::TclAudioPolicyEngine: getForceDevice, inputSource=6, device=xxxxx device为84000000时为正常,其他为异常

原因3:audioRecord创建近场使用hotword source,我们平台不支持。兼容处理后已实现支持

相关推荐
夕阳_醉了几秒前
让 AI 回答“打字般”浮现:用 Vue 3 + DeepSeek 实现流式聊天
前端·vue.js·人工智能
xiaoyunxuexibiji3 分钟前
供应商绩效评价体系如何建立?从评价指标到自动化考核
运维·人工智能·自动化
lucas_AI5 分钟前
488 GiB 变 3.81 GiB:腾讯把视觉文档检索的索引砍掉 128 倍,精度只让了 7 分
人工智能
星川皆无恙5 分钟前
基于知识图谱的百科问答系统:Django + Neo4j 与实现
人工智能·python·机器学习·自然语言处理·django·知识图谱·neo4j
Raas1006 分钟前
MemT-1.0 接入设计指南:硬件核算、三方案选型与写入触发点
大数据·网络·人工智能·机器学习·数据挖掘·ai agent
金仓社区的KK7 分钟前
Agent Skill 没按预期执行?用请求、调用记录和产物排查
人工智能·软件构建·ai-native
java1234_小锋9 分钟前
MySQL 宣布正式拥抱 AI
数据库·人工智能·mysql
打工仔折腾 AI11 分钟前
介入式脑机接口的跨尺度解码与闭环调控:从算法落地到后端工程实践
人工智能·后端·python·深度学习·算法·ai agent 实战
Aloudata12 分钟前
Data Agent vs AI Native BI:企业数据分析的下一代入口到底是什么?
大数据·人工智能·数据分析·data·语义层
lucas_AI17 分钟前
DDVR-Net:把「字坏了」和「看不清」拆开算,历史文档识别不再靠猜
人工智能·计算机视觉