FireRedVAD 深度解析：小红书开源的工业级语音活动检测“小钢炮”

FireRedVAD 深度解析：小红书开源的工业级语音活动检测"小钢炮"

关键词：FireRedVAD、语音活动检测、VAD、DFSMN、流式推理、Silero-VAD

📑 目录

1. 为什么 VAD 依然是语音系统的"守门人"？
2. FireRedVAD 是什么？------ 0.6M 参数的工业级方案
3. 核心架构：纯前馈 DFSMN，没有 LSTM 的"记忆"
4. 流式 vs 非流式：同一套架构，两种性格
5. 基准表现：F1 97.57%，误报率仅 2.69%
6. 训练数据：数千小时人工标注，而非强制对齐
7. 快速上手：安装与推理代码
8. 生态集成：Pipecat、CoreML、Dart/Flutter
9. 总结与速查表

1. 为什么 VAD 依然是语音系统的"守门人"？

无论 ASR 模型变得多强大，VAD（语音活动检测）始终是语音流水线的第一道关口。它的任务只有一个：判断"这段音频里有没有人说话" ，并把语音片段切出来，把静音和噪音扔掉。

这个任务听起来简单，但在工业场景中极其棘手：背景音乐、多人对话、远场拾音、100 种语言的发音差异，都会让一个"看起来能用"的 VAD 在生产环境里原形毕露。漏检（Miss） 会丢字，误检（False Alarm） 会让 ASR 把噪音当成语音去识别，白白浪费算力并产生垃圾文本。

FireRedVAD 的出现，正是为了在这个"守门人"的位置上，提供一个准确率、误报率、延迟和体积都达到工业级平衡的方案。

2. FireRedVAD 是什么？------ 0.6M 参数的工业级方案

FireRedVAD 是小红书 FireRed 团队 开源的 SOTA 工业级 VAD 与音频事件检测（AED） 解决方案，作为 FireRedASR2S 全栈 ASR 系统的一部分发布。

它的核心能力覆盖三个维度：

维度	支持范围
任务类型	非流式 VAD、流式 VAD、非流式 AED
检测事件	语音、歌唱、音乐（三种事件的多标签检测）
语言覆盖	100+ 种语言

最关键的数字是参数量 ：整个模型仅有 约 0.6M 参数 （非流式约 588k，流式约 568k），float32 权重文件仅 2.2 MB。这意味着它可以轻松跑在 CPU 甚至边缘设备上，而不需要 GPU 加速。

3. 核心架构：纯前馈 DFSMN，没有 LSTM 的"记忆"

FireRedVAD 的架构选择非常明确：DFSMN（Deep Feedforward Sequential Memory Network） ，而且是一个完全前馈的结构。

3.1 架构规格

组件	规格
输入特征	80-bin Kaldi log-mel fbank，16 kHz，25 ms 窗长 / 10 ms 帧移
核心结构	8 层 FSMN 块 + 1 层 DNN
时序建模	深度可分离 1D 卷积（depthwise 1D convolution），而非 RNN
非流式配置	N1=20（回看 20 帧），N2=20（前瞻 20 帧）
流式配置	N1=20，N2=0（严格因果，无前瞻）

DFSMN 的"记忆"来自于深度可分离一维卷积 对时序上下文的编码，而不是 LSTM 的循环状态。这种设计的直接好处是：整个模型可以作为一张计算图一次性编译和推理，对 CoreML、ONNX 等推理后端极其友好，不需要在帧之间维护复杂的循环状态机。

3.2 为什么"没有 LSTM"很重要？

Silero-VAD 的经典版本基于 LSTM，需要逐帧维护隐藏状态。在流式场景下，这意味着每一帧的处理都依赖上一帧的输出，难以并行化，也难以在移动端 NPU 上高效编译。FireRedVAD 的纯前馈 DFSMN 用卷积缓存 替代了循环状态 ：流式推理时，每一层只需携带一个固定大小的 19 帧卷积缓存 （8 层各一个 [1, 128, 19] 的 cache），处理新 chunk 时增量更新即可，无需重新处理历史音频。

4. 流式 vs 非流式：同一套架构，两种性格

FireRedVAD 同时提供了非流式和流式两个 checkpoint，它们的差异仅仅在于前瞻帧数：

对比项	非流式 VAD	流式 VAD（Stream-VAD）
前瞻（lookahead）	N2=20 帧	N2=0，严格因果
参数量	588,417（约 2.2 MB）	567,937（约 2.2 MB）
适用场景	离线转写、批量处理	实时语音、对话系统、流式 ASR
缓存机制	整段一次性前向	每层 19 帧 conv cache，增量更新

流式模型的设计是严格因果的：它只使用当前及过去的音频信息，不偷看未来。这在实时交互场景中是硬性要求------你不能为了判断"这句话说完了没有"而等待未来的 200ms 音频。

5. 基准表现：F1 97.57%，误报率仅 2.69%

FireRedVAD 在 FLEURS-VAD-102 基准上进行了评估。该基准覆盖 102 种语言 ，从 FLEURS 测试集中每种语言随机抽取约 100 个音频，共 9,443 个文件 ，全部带有人工标注的二值 VAD 标签（语音=1，静音=0）。

指标	FireRedVAD	Silero-VAD	TEN-VAD	FunASR-VAD	WebRTC-VAD
AUC-ROC ↑	99.60	97.99	97.81	---	---
F1 score ↑	97.57	95.95	95.19	90.91	52.30
False Alarm Rate ↓	2.69	9.41	15.47	44.03	2.83
Miss Rate ↓	3.62	3.95	2.95	0.42	64.15

数据来源

关键解读：

• F1 领先 ：97.57% 的 F1 相比 Silero-VAD（95.95%）和 TEN-VAD（95.19%）有约 1.6~2.4 个百分点的显著优势。
• 误报率极低 ：2.69% 的 False Alarm Rate 远低于 Silero-VAD 的 9.41% 和 TEN-VAD 的 15.47%。这在工程上极其重要------误报意味着 ASR 会去识别噪音，浪费算力并产生垃圾文本。
• 代价是漏检率略高 ：3.62% 的 Miss Rate 高于 TEN-VAD 的 2.95% 和 FunASR-VAD 的 0.42%。FunASR-VAD 的低漏检是通过大量过度预测语音换来的（误报率高达 44.03%），这在生产环境中是不可接受的。

6. 训练数据：数千小时人工标注，而非强制对齐

FireRedVAD 与许多竞品在训练数据来源上有本质区别。

大多数 VAD 模型使用 ASR 强制对齐（forced alignment） 的结果作为监督信号------用 ASR 系统对齐出的时间边界来"推断"哪里是语音。这种方式成本低，但监督信号本身带有 ASR 的错误和偏差。

FireRedVAD 直接使用数千小时的人工标注声学事件数据 进行训练。每个 utterance 都由人工标注了语音、歌唱、音乐 的时间边界。VAD 的二分类标签就是从这个标注空间中派生出来的：语音 + 歌唱 → 正类；音乐 + 静音 + 噪声 → 负类。

这种显式事件监督 带来的好处是：模型在多样化的声学条件下（背景音乐、歌唱、远场噪声）具有更强的鲁棒性，并且天然支持从二分类 VAD 扩展到多标签 AED（同时检测语音、歌唱、音乐）。

7. 快速上手：安装与推理代码

7.1 安装

pip install fireredvad

如果需要 GPU 支持：

pip install fireredvad[gpu]

7.2 准备音频

FireRedVAD 只接受 16 kHz、16-bit 单声道 PCM WAV。其他格式需先转换：

ffmpeg -i <input_audio_path> -ar 16000 -ac 1 -acodec pcm_s16le -f wav <output_wav_path>

7.3 命令行推理

非流式 VAD：

fireredvad --task vad --wav_path assets/hello_zh.wav \
  --model_dir pretrained_models/FireRedVAD/VAD

输出示例：

{'dur': 2.32, 'timestamps': [(0.44, 1.82)], 'wav_path': 'assets/hello_zh.wav'}

流式 VAD：

fireredvad --task stream_vad --wav_path assets/hello_en.wav \
  --model_dir pretrained_models/FireRedVAD/Stream-VAD

7.4 Python API

非流式：

from fireredvad import FireRedVad, FireRedVadConfig

config = FireRedVadConfig(
    use_gpu=False,
    smooth_window_size=5,
    speech_threshold=0.4,
    min_speech_frame=20,
    max_speech_frame=2000,
    min_silence_frame=20,
)
vad = FireRedVad.from_pretrained("pretrained_models/FireRedVAD/VAD", config)
result, probs = vad.detect("audio.wav")
print(result)

流式：

from fireredvad import FireRedStreamVad, FireRedStreamVadConfig

config = FireRedStreamVadConfig(
    use_gpu=False,
    speech_threshold=0.3,
    pad_start_frame=5,
    min_speech_frame=8,
    max_speech_frame=2000,
    min_silence_frame=20,
)
stream_vad = FireRedStreamVad.from_pretrained(
    "pretrained_models/FireRedVAD/Stream-VAD", config
)
frame_results, result = stream_vad.detect_full("audio.wav")
print(result)

多标签 AED：

from fireredvad import FireRedAed, FireRedAedConfig

config = FireRedAedConfig(
    speech_threshold=0.4,
    singing_threshold=0.5,
    music_threshold=0.5,
)
aed = FireRedAed.from_pretrained("pretrained_models/FireRedVAD/AED", config)
result, probs = aed.detect("event.wav")
# result 中包含 speech/singing/music 各自的时间戳

完整 API 和参数说明参见官方 README。

8. 生态集成：Pipecat、CoreML、Dart/Flutter

FireRedVAD 的轻量化和纯前馈架构，让它能够被轻松移植到多种运行时：

生态	说明
Pipecat	官方集成包 pipecat-ai-fireredvad，可直接作为 VAD 分析器接入 Pipecat 的语音流水线
CoreML（Apple）	已转换为 CoreML 模型，可在 Neural Engine 上运行，适合 iOS/macOS 实时 VAD
Dart / Flutter	纯 Dart 实现，可在 Flutter 应用中直接进行流式 VAD
Rust	有基于 ONNX 的 Rust 封装，模型约 2.3 MB
Svod 运行时	提供 safetensors 格式权重，用于专门的推理运行时

这种跨平台可用性，是 FireRedVAD 相比许多"只提供 PyTorch 权重"的学术模型的一个显著工程优势。

9. 总结与速查表

核心要点回顾

✅ FireRedVAD = 小红书开源的 0.6M 参数 工业级 VAD/AED，支持 100+ 语言 的语音/歌唱/音乐检测。

✅ 架构 ：纯前馈 DFSMN （8 层 FSMN + 1 层 DNN），深度可分离 1D 卷积，无 LSTM 循环状态 。

✅ 流式版本严格因果 （N2=0），每层仅需 19 帧卷积缓存 ，适合实时场景。

✅ FLEURS-VAD-102 基准 ：F1 97.57% ，AUC-ROC 99.60 ，误报率仅 2.69% ，显著优于 Silero-VAD 和 TEN-VAD。

✅ 训练数据 ：数千小时人工标注 声学事件，而非 ASR 强制对齐结果。

✅ 输入要求 ：16 kHz、16-bit 单声道 PCM WAV。

速查表

项目	信息
参数量	非流式 588k / 流式 568k（约 2.2 MB float32）
输入格式	16 kHz, 16-bit, mono PCM
特征	80-bin Kaldi log-mel fbank, 25ms/10ms
非流式前瞻	N2=20 帧
流式前瞻	N2=0（严格因果）
流式缓存	每层 19 帧 conv cache
FLEURS-VAD-102 F1	97.57%
误报率	2.69%
安装	pip install fireredvad
许可证	Apache-2.0

记忆口诀

零点六兆小钢炮，DFSMN 纯前馈。

流式因果无前瞻，十九帧缓存随身带。

百种语言都能听，误报只有二点七。

人工标注训出来，工业 VAD 新标杆。