背景痛点
银行网点传统排队机面临三大挑战:
- 云端大模型"听不懂"------大厅噪音80分贝,语音指令识别率低于60%
- 数据合规红线------原始音视频上云存在隐私泄露风险
- 存量资产沉没------10年前的LED条屏、热敏打印机直接报废?
方案架构
我们基于瑞芯微RK3588(6TOPS NPU)打造边缘感知网关,实现"物理清洗+数据脱敏"双核心能力。
硬件配置
makefile
SoC: RK3588(信创认证)
NPU: 6.0 TOPS INT8
内存: 4GB LPDDR4
系统: 嵌入式Linux(内核5.10+)
接口: RS485/RS232(光电隔离)+ 多麦克风阵列
声学清洗算法(AEC/ANS)
ini
// 回声消除核心流程
audio_stream_t input = mic_array_capture();
audio_stream_t ref = speaker_feedback();
audio_stream_t clean = aec_process(input, ref); // 消除扬声器回声
clean = ans_noise_suppression(clean, 80dB_env); // 环境降噪
mqtt_publish("/voice/clean", json_encode(clean));
视觉脱敏处理
ini
# 人脸特征向量化(本地完成,原始图像不留存)
face_embedding = face_recognition.encode(capture_frame)
hash_vector = sha256(face_embedding) # 不可逆转换
api_post("/customer/verify", {"hash": hash_vector})
协议对接实战
MQTT状态流
json
{
"device_id": "PAH_2026_001",
"status": "online",
"radar": {"detected": true, "distance": 1.2},
"printer": {"paper_left": 85, "status": "ready"},
"timestamp": 1720140800
}
RESTful控制接口
json
# 语音播报TTS
curl -X POST http://gateway/api/v1/tts \
-H "Content-Type: application/json" \
-d '{"text":"请A001号到3号窗口","priority":1}'
# 屏幕动态刷新
curl -X POST http://gateway/api/v1/display \
-d '{"template":"queue_info","data":{"current":"A001","waiting":12}}'
存量设备兼容方案
通过协议转换守护进程,将JSON指令翻译为工业Hex码:
scss
// RS485指令转换示例
void translate_json_to_hex(json_cmd_t *json, uint8_t *hex_buf) {
if (strcmp(json->target, "led_display") == 0) {
hex_buf[0] = 0xAA; // 帧头
hex_buf[1] = 0x01; // 设备地址
hex_buf[2] = 0x10; // 写显示寄存器
memcpy(&hex_buf[3], json->content, strlen(json->content));
hex_buf[15] = calc_crc(hex_buf, 15); // CRC校验
}
}
效果数据
- 语音唤醒率:97%(嘈杂环境)
- 人脸脱敏延迟:<50ms
- 存量设备兼容:支持95%以上10年前旧设备
- 整机功耗:<10W(无需改网点电路)