whisper.cpp 与 audio.cpp 对比说明
whisper.cpp 和 audio.cpp 都是基于同一底层架构（由 Georgi Gerganov 开发的 ggml 张量库）构建的轻量级 C++ 本地推理引擎，但它们的核心定位、功能范围与应用场景有很大区别。
1. 核心定位与功能范围
whisper.cpp
- 专注领域：ASR（自动语音识别，Speech-to-Text）
- 主打功能：专门针对 OpenAI 的 Whisper 模型进行纯 C/C++ 移植与极致优化。支持多语言转录、翻译、词级时间戳、VAD（语音活动检测）、GBNF 语法约束解码、tinydiarize 说话人切换检测等。
- 生态角色：偏向于"单功能垂直标杆"，常被封装为各类跨平台桌面端（如 MacWhisper）或嵌入到移动端（iOS/Android）和树莓派中。
audio.cpp
- 专注领域：全栈音频多任务处理引擎（Audio Pipeline / All-in-One Audio CLI）
- 主打功能 ：基于
ggml整合了超过 80 多个音频模型，将一整套复杂的音频处理流程打包成简易的命令行或 API。 - 集成能力 ：不仅包含语音识别（ASR），还涵盖语音合成（TTS）、声纹转换（Voice Conversion）、音源分离（Source Separation）等多种音频 AI 能力，更像是一个"音频版的
llama.cpp"。
2. 底层架构与技术支撑
共同点
- 两者都基于
ggml，天生具备跨平台、零外部依赖、支持多种量化（Q4、Q5、Q8 等）以及多硬件后端（CPU NEON/AVX、CUDA、Metal、Vulkan、CoreML 等）的基因。
不同点
whisper.cpp只围绕 Whisper 及其变体和编解码流程打磨，针对 KV Cache、Prompt Caching、流式输入等做了深度定制。audio.cpp则是一个宏观的管线（Pipeline）框架，旨在把不同类型的音频模型（识别、合成、分离、克隆等）统一调度在同一个ggml运行时中。
3. 使用场景对比
| 维度 | whisper.cpp | audio.cpp |
|---|---|---|
| 主要用途 | 纯粹的语音转文字、实时字幕、语音指令、会议记录 | 一站式音频处理（如：把人声分离出来 → 语音识别 → 语音合成/转音色） |
| 模型数量 | 仅限 Whisper 系列模型及其衍生（如 tinydiarize） | 整合 80+ 个不同类型的开源音频模型 |
| 部署复杂度 | 极低（单一静态库/CLI，易于嵌入各语言绑定如 Rust、Python、WASM 等） | 极低（一条命令串联多步音频流处理） |
| 典型代表项目 | talk-llama（语音对话）、MacWhisper、各种语言的 Whisper 客户端 | 适合需要组合多种音频 AI 任务的后端管道与自动化脚本 |
总结选择建议
- 如果你的需求只是把语音转成文字（或做流式语音识别、字幕生成、端侧离线 ASR），首选
whisper.cpp，它的生态最成熟、优化最深、平台覆盖最广。 - 如果你需要链式处理------例如：不仅要转文字，还要做音源分离、TTS 语音合成、甚至声纹/音色转换等复杂多模型工作流，选
audio.cpp可以省去胶水代码的编写。