语音识别 FireRedASR-AED模型主要特点

FireRedASR-AED模型主要特点

  1. 架构设计

    • 编码器-解码器结构:采用Conformer编码器与Transformer解码器的结合。Conformer模块通过多头自注意力和卷积增强局部与全局依赖建模,Transformer解码器通过交叉注意力实现高效序列转换。
    • 子采样策略:编码器通过两层卷积(步长2,核大小3)将时间分辨率从10ms降至40ms,降低计算复杂度。
    • 混合分词策略:中文使用字符级分词,英文使用BPE分词,总词表量7,832,支持中英文混合输入。
  2. 训练数据与策略

    • 高质量数据:训练语料包含约70,000小时专业转录的普通话语音(人工标注为主),辅以11,000小时英语数据,覆盖多样化的声学条件和说话人。
    • 渐进正则化训练:从小模型到大模型逐步引入正则化(如Dropout和SpecAugment),优化收敛稳定性。
    • 轻量化设计:1.1B参数规模(相比LLM的8.3B更紧凑),适合资源受限场景。

中文准确率表现

  • 公开测试集
    在AISHELL-1、AISHELL-2 iOS、WenetSpeech(互联网和会议场景)四个公开普通话测试集上,平均CER为 3.18%,优于其他开源模型(如Paraformer-Large的4.56%)和部分商业模型(如ProviderA-Large的4.56%)。
  • 多源场景
    在短视频、直播、自动字幕等真实场景中,CER为 3.74% ,相对商业基线(CER 4.56%)实现 18% 的相对错误率降低(CERR)。

对方言的适应性

  • 方言测试集
    在KeSpeech(涵盖8种中文方言)测试集上,CER为 4.48%,显著优于开源模型Baichuan-omni(6.7%)和Qwen-Audio(9.9%)。
  • 训练数据泛化
    尽管训练数据以普通话为主,但通过多样化的说话人和声学条件覆盖,模型能够有效泛化到方言场景。此外,混合分词策略和Conformer的局部建模能力增强了对口音变化的鲁棒性。

总结

FireRedASR-AED凭借高效的架构设计、高质量训练数据及渐进正则化策略,在普通话识别中达到行业领先的准确率(CER 3.18%),并在方言场景中展现出色泛化能力(CER 4.48%)。其轻量化特性(1.1B参数)和开源协议使其成为工业部署与学术研究的理想选择。

相关推荐
柯南二号12 小时前
【AI】【Java后端】RAG 实战示例:SpringBoot + 向量检索 + LLM 问答系统
java·人工智能·spring boot
民乐团扒谱机12 小时前
【微实验】激光测径系列(六)MATLAB 实现 CCD 图像像素与实际距离标定
人工智能·计算机视觉
算家计算12 小时前
阿里最新开源Wan2.2-Animate-14B 本地部署教程:统一双模态框架,MoE架构赋能电影级角色动画与替换
人工智能·开源
阿里云大数据AI技术12 小时前
云栖2025 | 阿里云自研大数据平台ODPS 重磅升级:全面支持AI计算和服务
大数据·人工智能
没有口袋啦12 小时前
《机器学习与深度学习》入门
人工智能·深度学习·机器学习
没有不重的名么12 小时前
DanceTrack数据集介绍
人工智能·计算机视觉·目标跟踪
算家计算13 小时前
Kimi新功能来了,全新Agent模式上线,命名致敬传奇音乐专辑?
人工智能·agent·资讯
空白到白13 小时前
深度学习-神经网络(上篇)
人工智能·深度学习·神经网络
居然JuRan13 小时前
Qwen3-7B-Instruct Windows LMStudio 部署
人工智能
嘀咕博客13 小时前
Visual Prompt Builder-AI 提示词可视化工具
人工智能·prompt·ai工具