基于杰理AC7016C的GTCRN门控卷积神经网络语音增强方法

AEC ANS AGC ASR 已部署到AC7016, 其中ANS采用GTCRN 方法

GTCRN(Grouped Temporal Convolutional Recurrent Network)是一种专为边缘计算设计的超轻量级语音增强模型。

简单来说,它是一个能在资源有限的设备(如蓝牙耳机、会议音响)上运行的AI降噪算法,可以实时去除音频中的背景噪声。

🚀 核心优势:极致轻量与高性能

GTCRN最大的特点是在极低的算力消耗下,实现了优秀的降噪效果,使其非常适合嵌入式设备部署。

  • 极致轻量 :模型大小仅约 48K 参数,远小于常见的深度学习模型。

  • 超低计算量 :每秒仅需 3300万次乘加运算 (33.0 MMACs)。

  • 性能出色 :性能显著超越了同量级的经典算法(如RNNoise),并与计算量高得多的模型(如DeepFilterNet)表现相当。

模型 参数量 (M) 计算量 (MACs) 语音质量(PESQ)
GTCRN 0.02 0.04 G/s 2.87
RNNoise (2018) 0.06 0.04 G/s 2.29
DeepFilterNet (2022) 1.80 0.35 G/s 2.81

⚙️ 技术原理:三大核心设计

GTCRN通过精巧的架构设计,在保持轻量的同时保证了降噪效果。

  • 门控时序卷积 (Gated TCN) :这是模型的基石。它使用膨胀因果卷积 来扩大"视野",并引入门控机制来智能判断并过滤掉噪声。

  • 分组策略 (Grouped Strategy) :这是"Grouped"的由来,通过将网络分组处理,进一步降低了计算量和参数数量。

  • 轻量级循环网络:采用优化后的轻量级LSTM,有效处理语音中的长时依赖关系,保证语音的自然流畅。

💡 应用场景与资源

  • 理想场景 :GTCRN非常适合蓝牙耳机、智能音箱、会议系统、车载语音等对功耗和算力有严格要求的场景。

  • 如何获取:你可以从以下渠道获取资源:

    • 官方代码 :GitHub - Xiaobin-Rong/gtcrn

    • 学术论文 :该成果发表于ICASSP 2024,是语音领域的顶级会议。

    • ONNX部署 :项目已集成到 sherpa-onnx,方便在更多设备上部署

相关推荐
冬奇Lab1 小时前
开源项目第241期:YuE2 —— 用符号乐谱当“白盒“接口的开源音乐生成模型,SongBench 超越 Suno v5/v6
人工智能
鶴哥只手遮天2 小时前
Spring AI 2.0.1 深度解析-第 14 章 MCP 服务端(上):注解式实现与工具来源
java·人工智能·开源
鶴哥只手遮天2 小时前
Spring AI 2.0.1 深度解析-第 15 章 MCP 服务端(下):三种协议形态、Streamable 传输与状态管理
java·人工智能·开源
鶴哥只手遮天2 小时前
Spring AI 2.0.1 深度解析-第 16 章 向量存储(上):`VectorStore` 接口体系、`BatchingStrategy`
java·人工智能·开源
鶴哥只手遮天2 小时前
Spring AI 2.0.1 深度解析-第 12 章 工具循环的流式形态、Usage 累加与扩展体系
java·人工智能·开源
鶴哥只手遮天2 小时前
Spring AI 2.0.1 深度解析-第 23 章 模型供应商实现:从 `OpenAiSetup` 到 Bedrock
java·人工智能·开源
鶴哥只手遮天2 小时前
Spring AI 2.0.1 深度解析-第 06 章 内置 Advisor 全景:13 个实现逐个剖到源码级
java·人工智能·开源
鶴哥只手遮天3 小时前
Spring AI 2.0.1 深度解析-第 03 章 消息体系与 Prompt:不可变模型、`ChatOptions` 与模板渲染
java·人工智能·开源
鶴哥只手遮天3 小时前
Spring AI 2.0.1 深度解析-第 24 章 生产实践与 2.x 迁移:陷阱清单、AOT 与调优
java·人工智能·开源
鶴哥只手遮天3 小时前
Spring AI 2.0.1 深度解析-第 10 章 工具调用(中):执行链路、结果转换与工具限制
java·人工智能·开源