语音识别 FireRedASR-AED模型主要特点

FireRedASR-AED模型主要特点

  1. 架构设计

    • 编码器-解码器结构:采用Conformer编码器与Transformer解码器的结合。Conformer模块通过多头自注意力和卷积增强局部与全局依赖建模,Transformer解码器通过交叉注意力实现高效序列转换。
    • 子采样策略:编码器通过两层卷积(步长2,核大小3)将时间分辨率从10ms降至40ms,降低计算复杂度。
    • 混合分词策略:中文使用字符级分词,英文使用BPE分词,总词表量7,832,支持中英文混合输入。
  2. 训练数据与策略

    • 高质量数据:训练语料包含约70,000小时专业转录的普通话语音(人工标注为主),辅以11,000小时英语数据,覆盖多样化的声学条件和说话人。
    • 渐进正则化训练:从小模型到大模型逐步引入正则化(如Dropout和SpecAugment),优化收敛稳定性。
    • 轻量化设计:1.1B参数规模(相比LLM的8.3B更紧凑),适合资源受限场景。

中文准确率表现

  • 公开测试集
    在AISHELL-1、AISHELL-2 iOS、WenetSpeech(互联网和会议场景)四个公开普通话测试集上,平均CER为 3.18%,优于其他开源模型(如Paraformer-Large的4.56%)和部分商业模型(如ProviderA-Large的4.56%)。
  • 多源场景
    在短视频、直播、自动字幕等真实场景中,CER为 3.74% ,相对商业基线(CER 4.56%)实现 18% 的相对错误率降低(CERR)。

对方言的适应性

  • 方言测试集
    在KeSpeech(涵盖8种中文方言)测试集上,CER为 4.48%,显著优于开源模型Baichuan-omni(6.7%)和Qwen-Audio(9.9%)。
  • 训练数据泛化
    尽管训练数据以普通话为主,但通过多样化的说话人和声学条件覆盖,模型能够有效泛化到方言场景。此外,混合分词策略和Conformer的局部建模能力增强了对口音变化的鲁棒性。

总结

FireRedASR-AED凭借高效的架构设计、高质量训练数据及渐进正则化策略,在普通话识别中达到行业领先的准确率(CER 3.18%),并在方言场景中展现出色泛化能力(CER 4.48%)。其轻量化特性(1.1B参数)和开源协议使其成为工业部署与学术研究的理想选择。

相关推荐
初恋叫萱萱1 分钟前
AI驱动开发实战:基于飞算JavaAI的在线考试系统设计与实现
人工智能
yzx9910137 分钟前
图像去雾:从暗通道先验到可学习融合——一份可跑的 PyTorch 教程
人工智能·pytorch·学习
博大世界17 分钟前
解剖智驾“大脑”:一文读懂自动驾驶系统软件架构
人工智能·机器学习·自动驾驶
大熊猫侯佩21 分钟前
苹果 AI 探秘:代号 “AFM” —— “温柔的反叛者”
人工智能·sft·ai 大模型·apple 本地大模型·foundationmodel·苹果智能·applebot
AI Echoes35 分钟前
别再手工缝合API了!开源LLMOps神器LMForge,让你像搭积木一样玩转AI智能体!
人工智能·python·langchain·开源·agent
AI Echoes39 分钟前
从零构建企业级LLMOps平台:LMForge——支持多模型、可视化编排、知识库与安全审核的全栈解决方案
人工智能·python·langchain·开源·agent
Coovally AI模型快速验证39 分钟前
无人机小目标检测新SOTA:MASF-YOLO重磅开源,多模块协同助力精度飞跃
人工智能·yolo·目标检测·机器学习·计算机视觉·无人机
zskj_zhyl1 小时前
七彩喜智慧养老:科技向善,让“养老”变“享老”的智慧之选
大数据·人工智能·科技·物联网·机器人
微盛企微增长小知识1 小时前
企业微信AI怎么用才高效?3大功能+5个实操场景,实测效率提升50%
人工智能·企业微信