从信号到文字：语音识别（ASR）技术链路解析

自动语音识别（ASR）系统的核心任务，是将一段语音信号 X X X 转换为最可能的文本序列 Y Y Y。
Y ^ = arg ⁡ max ⁡ Y P ( Y ∣ X ) \hat{Y} = \arg\max_{Y} P(Y \mid X) Y^=argYmaxP(Y∣X)

依据贝叶斯公式，该目标可分解并简化为两个核心概率的乘积：
Y ^ = arg ⁡ max ⁡ Y P ( Y ∣ X ) = arg ⁡ max ⁡ Y P ( X ∣ Y ) P ( Y ) P ( X ) = arg ⁡ max ⁡ Y P ( X ∣ Y ) ⏟ 声学模型 ⋅ P ( Y ) ⏟ 语言模型 \hat{Y} = \arg\max_{Y} P(Y \mid X) = \arg\max_{Y} \frac{P(X \mid Y)P(Y)}{P(X)} = \arg\max_{Y} \underbrace{P(X \mid Y)}{\text{声学模型}} \cdot \underbrace{P(Y)}{\text{语言模型}} Y^=argYmaxP(Y∣X)=argYmaxP(X)P(X∣Y)P(Y)=argYmax声学模型 P(X∣Y)⋅语言模型 P(Y)

其中，分母 P ( X ) P(X) P(X) 对所有 Y Y Y 相同，故在最大化中可忽略。此公式清晰地定义了ASR系统的两大支柱：

声学模型 ：计算 P ( X ∣ Y ) \color{red}{P(X \mid Y)} P(X∣Y)
- 物理含义 ：如果某人要说出文本 Y Y Y，他产生当前这段语音 X X X 的可能性有多大。它评估声音与文本的匹配度。
- 现代实现 ：端到端模型（如CTC、RNN-T）常直接建模逆向概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)，但其核心任务不变------学习从声学特征到文本单元（音素/字符）的映射，解决"听清"的问题。
语言模型 ：计算 P ( Y ) \color{blue}{P(Y)} P(Y)
- 物理含义 ：文本序列 Y = ( y 1 , y 2 , . . . , y L ) Y = (y_1, y_2, ..., y_L) Y=(y1,y2,...,yL) 本身作为一个句子，在自然语言中出现的先验概率。它评估文本自身的流畅性与合理性，与语音信号无关。
- 数学形式 ： P ( Y ) = ∏ i = 1 L P ( y i ∣ y 1 , . . . , y i − 1 ) P(Y) = \prod_{i=1}^{L} P(y_i | y_1, ..., y_{i-1}) P(Y)=∏i=1LP(yi∣y1,...,yi−1)，由链式法则展开。它解决"读懂"的问题，纠正同音字并确保通顺。

完整 ASR过程由五个核心模块协同完成：

音频前端预处理负责净化原始信号，提升信噪比；
特征提取将波形转换为紧凑的时频表征（如FBank）；
声学模型 计算该表征下生成文本 Y Y Y 的似然 P ( Y ∣ X ) P(Y|X) P(Y∣X)；
语言模型 评估文本 Y Y Y 自身的先验概率 P ( Y ) P(Y) P(Y)；
解码器 则执行搜索，求解 Y ^ = arg ⁡ max ⁡ Y [ P ( Y ∣ X ) ⋅ P ( Y ) α ] \hat{Y} = \arg\max_{Y} [P(Y|X) \cdot P(Y)^{\alpha}] Y^=argmaxY[P(Y∣X)⋅P(Y)α]，找出综合得分最高的序列。其根本遵循贝叶斯框架，即 Y ^ = arg ⁡ max ⁡ Y P ( Y ∣ X ) = arg ⁡ max ⁡ Y P ( X ∣ Y ) P ( Y ) \hat{Y} = \arg\max_{Y} P(Y|X) = \arg\max_{Y} P(X|Y)P(Y) Y^=argmaxYP(Y∣X)=argmaxYP(X∣Y)P(Y)。

一、音频前端预处理：信号的净化与标准化

根本目标 ：在特征提取前，最大化提升输入信号的信噪比，抑制与语音内容无关的干扰，为下游提供纯净、鲁棒的输入。其质量决定系统性能上限。

核心挑战：抑制噪声、回声、混响的同时，最小化对原始语音的损伤，避免引入新失真。

1.1 分帧与加窗：短时平稳性假设的工程实现

语音信号全局非平稳，但在 10 10 10- 30 30 30毫秒内可视为准平稳。分帧是后续所有时频分析的基础。

关键参数：
- 帧长：通常 20 20 20- 30 30 30ms。过短则频率分辨率低，过长则违背平稳性假设。
- 帧移：通常为帧长的 1 / 2 1/2 1/2，保证帧间平滑重叠。
加窗：为减少信号截断导致的频谱泄漏，需对每帧乘以窗函数。汉明窗在主瓣宽度与旁瓣衰减间取得最佳平衡。

汉明窗公式 ：
w ( n ) = 0.54 − 0.46 cos ⁡ ( 2 π n N − 1 ) , 0 ≤ n ≤ N − 1 w(n) = 0.54 - 0.46\cos\left(\frac{2\pi n}{N-1}\right), \quad 0 \leq n \leq N-1 w(n)=0.54−0.46cos(N−12πn),0≤n≤N−1

其中 N N N为帧长采样点数。汉明窗将旁瓣峰值衰减至主瓣的 1 % 1\% 1%以下，极大改善频谱估计质量。

基于NumPy手动实现：信号的分帧、加窗、傅里叶变换 / 逆变换、重建

1.2 降噪与回声消除：从统计估计到神经网络

核心思想是在时频域分离语音与干扰。

经典谱减法 ：假设噪声是加性且平稳的，从带噪语音谱中减去估计的噪声谱。
∣ S ^ ( k , m ) ∣ = max ⁡ ( ∣ Y ( k , m ) ∣ 2 − α ⋅ P ^ N ( k ) , 0 ) |\hat{S}(k, m)| = \sqrt{\max(|Y(k, m)|^2 - \alpha \cdot \hat{P}_N(k), 0)} ∣S^(k,m)∣=max(∣Y(k,m)∣2−α⋅P^N(k),0)

其中 α \alpha α是过减因子， P ^ N ( k ) \hat{P}_N(k) P^N(k)是估计的噪声功率谱。开方和取最大值保证幅度非负。
维纳滤波 ：在最小均方误差准则下的最优线性滤波器。其频域形式为：
H ( k , m ) = P ^ S ( k , m ) P ^ S ( k , m ) + P ^ N ( k , m ) H(k, m) = \frac{\hat{P}_S(k, m)}{\hat{P}_S(k, m) + \hat{P}_N(k, m)} H(k,m)=P^S(k,m)+P^N(k,m)P^S(k,m)

滤波器 H H H本质是信号与噪声功率谱之比（先验信噪比）的函数。干净语音估计值为 S ^ ( k , m ) = H ( k , m ) ⋅ Y ( k , m ) \hat{S}(k, m) = H(k, m) \cdot Y(k, m) S^(k,m)=H(k,m)⋅Y(k,m)。
深度学习方法 ：现代前沿采用深度网络（如复数卷积网络）直接估计时频域的理想比值掩码 或干净语音谱。模型学习从带噪特征到掩码的映射，性能远超传统方法，且可与后端ASR模型联合优化。

理想比值掩蔽（IRM）和理想幅度掩蔽（IAM）在语音分离中的应用

二、特征提取：从波形到信息矩阵

根本目标 ：将一维时域波形转换为二维（时间×特征）矩阵，该矩阵应最大化保留与语音内容相关的信息 ，同时最小化说话人身份、信道、情绪等无关变量的影响。

核心挑战：找到紧凑、判别性强且对无关变化鲁棒的表征。

特征提取的作用：特征提取是将原始音频信号转换为适合ASR模型处理的数值表示的过程。

2.1 常用特征

梅尔频谱和梅尔倒谱系数：音频信号处理的关键特征

梅尔滤波器组特征（FBank） - 现代深度学习ASR的主流输入
FBank ( k , m ) = ln ⁡ ( ∑ i ∣ X ( i , m ) ∣ 2 ⋅ H k ( i ) + ϵ ) \text{FBank}(k, m) = \ln\left( \sum_{i} |X(i, m)|^2 \cdot H_k(i) + \epsilon \right) FBank(k,m)=ln(i∑∣X(i,m)∣2⋅Hk(i)+ϵ)

其中 H k ( i ) H_k(i) Hk(i)为第 k k k个梅尔滤波器在频点 i i i的权重。
梅尔频率倒谱系数（MFCC） - 传统GMM-HMM ASR的标准特征
C n = ∑ k = 1 K log ⁡ ( M k ) ⋅ cos ⁡ [ n ( k − 1 2 ) π K ] , n = 0 , 1 , . . . , N − 1 C_n = \sum_{k=1}^{K} \log(M_k) \cdot \cos\left[n\left(k - \frac{1}{2}\right)\frac{\pi}{K}\right], \quad n=0,1,...,N-1 Cn=k=1∑Klog(Mk)⋅cos[n(k−21)Kπ],n=0,1,...,N−1

其中 M k M_k Mk为第 k k k个梅尔滤波器组的能量， K K K为滤波器个数， N N N为MFCC系数个数。
梅尔频谱图（Mel-Spectrogram）
M e l ( m , k ) = ∑ i ∣ X ( i , m ) ∣ 2 ⋅ H k ( i ) Mel(m,k) = \sum_{i} |X(i, m)|^2 \cdot H_k(i) Mel(m,k)=i∑∣X(i,m)∣2⋅Hk(i)
感知线性预测系数（PLP） - 考虑心理声学特性的特征
r ^ ( n ) = ∑ k = 0 K − 1 S ( k ) E ( k ) cos ⁡ ( 2 π n k / K ) , n = 0 , 1 , . . . , p \hat{r}(n) = \sum_{k=0}^{K-1} S(k) E(k) \cos(2\pi nk/K), \quad n=0,1,...,p r^(n)=k=0∑K−1S(k)E(k)cos(2πnk/K),n=0,1,...,p

其中 S ( k ) S(k) S(k)为Bark尺度滤波后的谱， E ( k ) E(k) E(k)为等响度曲线加权。
常数Q变换（CQT）频谱 - 音乐和音高敏感应用
X CQT ( k , n ) = 1 N k ∑ j = n − ⌊ N k / 2 ⌋ n + ⌊ N k / 2 ⌋ x ( j ) a k ∗ ( j − n + N k / 2 ) X^{\text{CQT}}(k, n) = \frac{1}{N_k} \sum_{j=n-\lfloor N_k/2 \rfloor}^{n+\lfloor N_k/2 \rfloor} x(j) a_k^*(j-n+N_k/2) XCQT(k,n)=Nk1j=n−⌊Nk/2⌋∑n+⌊Nk/2⌋x(j)ak∗(j−n+Nk/2)

其中 N k N_k Nk随频率变化，实现常数Q因子。

FBank因其在信息保留与计算效率间的良好平衡，已成为工业界深度学习ASR的事实标准。

2.2 现代趋势

原始波形输入：部分最新研究尝试直接从原始波形建模，避免特征提取的信息损失，但需要更复杂的模型架构。
可学习前端：将特征提取过程参数化，与ASR模型一起端到端训练，自动学习最优的特征表示。
多分辨率特征：结合不同时间-频率分辨率的特征，捕捉语音的多尺度特性。

三、声学模型：从音频到文本的核心桥梁

模型类型	输出单元 Y Y Y 的定义	路径特点
GMM-HMM	音素序列（如英文 `[h, eh, l, ow]`，中文 `[n, i, hao]`）	间接路径：音频 → 音素 →（查词典）→ 单词
端到端模型	字符/子词序列（如 `[h, e, l, l, o]` 或 `[你, 好]`）	直接路径：音频 → 字符/子词

3.1 传统范式：GMM-HMM（两阶段建模）

传统ASR将识别分解为两个阶段：先用声学模型 识别音素，再用发音词典将音素组合成单词。

隐马尔可夫模型：为每个音素建立3-5个状态的HMM，描述音素的时序演变（如起始、稳定、结束）。
高斯混合模型 ：为每个HMM状态建模声学特征分布，计算观测概率 P ( x t ∥ q t ) P(x_t \| q_t) P(xt∥qt)。

对于一个单词序列 W W W：

通过发音词典 转换为音素序列 P P P
将音素序列 P P P 扩展为HMM状态序列 Q Q Q
声学模型计算 P ( X ∥ Q ) P(X \| Q) P(X∥Q)
解码器搜索使 P ( X ∥ W ) P ( W ) P(X \| W)P(W) P(X∥W)P(W) 最大化的 W ^ \hat{W} W^

主要缺陷

流程复杂：需强制对齐、独立训练各模块
误差传播：前序模块的错误会影响后续模块
灵活性差：无法识别词典外的生僻词

3.2 现代范式：端到端深度学习（统一建模）

端到端模型通过单一神经网络直接学习 P ( Y ∥ X ) P(Y\|X) P(Y∥X)，其中 Y Y Y 是字符或子词序列。它们通过不同的机制解决"序列对齐"这一核心问题。

3.2.1 CTC：隐式对齐的路径积分

核心思想 ：允许模型在输出时"保持沉默"（通过空白符<blank>），然后求和所有能映射到目标序列的路径概率。

数学模型 ：
P ( Y ∣ X ) = ∑ π ∈ B − 1 ( Y ) ∏ t = 1 T P ( π t ∣ X ) P(Y|X) = \sum_{\pi \in \mathcal{B}^{-1}(Y)} \prod_{t=1}^{T} P(\pi_t | X) P(Y∣X)=π∈B−1(Y)∑t=1∏TP(πt∣X)

其中 B \mathcal{B} B 是移除空白符和重复字符的压缩函数。

示例：对于音频"hello"，有效路径可能包含多个空白符：

python 复制代码

帧序列:  __h_h_e_e_l_l_l_oo__
压缩后:  h e l l o

特点：

✅ 结构简单，解码高效，天然流式
❌ 条件独立假设过强，需外部语言模型辅助

3.2.2 基于注意力的序列到序列模型：显式软对齐

核心思想：将ASR视为"机器翻译"任务，从音频"翻译"到文本。

工作机制：

编码器 ：将输入 X X X 转换为高层表示 H H H
注意力机制：生成每个输出时，动态计算对输入各部分的关注权重
解码器：基于注意力上下文和历史输出，自回归生成文本

数学模型 ：
P ( Y ∣ X ) = ∏ i = 1 L P ( y i ∣ y < i , c i , H ) P(Y|X) = \prod_{i=1}^{L} P(y_i | y_{<i}, c_i, H) P(Y∣X)=i=1∏LP(yi∣y<i,ci,H)

其中 c i = ∑ t α i , t h t c_i = \sum_{t} \alpha_{i,t} h_t ci=∑tαi,tht 是注意力上下文向量。

特点：

✅ 建模能力强，无条件独立假设
❌ 自回归解码延迟高，注意力可能漂移

3.2.3 RNN-Transducer：流式识别的统一框架

核心思想：在每一时间步，同时考虑声学信息和历史文本信息，决定输出还是前进。

模型结构：

python 复制代码

        联合网络
         ↗    ↖
编码器       预测网络
  ↓           ↓
声学表示     文本表示

决策过程 ：在时间步 t t t，输出步 u u u：

编码器输出当前声学表示 h t h_t ht
预测网络基于历史输出 y 1 : u − 1 y_{1:u-1} y1:u−1 输出文本表示 g u g_u gu
联合网络融合两者，输出所有词符的概率分布
模型决定：输出词符（ u + 1 u+1 u+1）或前进到下一帧（ t + 1 t+1 t+1）

数学模型 ：
P ( z t , u = k ∣ X , y 1 : u − 1 ) = Softmax ( TransducerJoint ( h t , g u ) ) P(z_{t,u} = k | X, y_{1:u-1}) = \text{Softmax}(\text{TransducerJoint}(h_t, g_u)) P(zt,u=k∣X,y1:u−1)=Softmax(TransducerJoint(ht,gu))

特点：

✅ 完美统一声学、语言建模和流式对齐
✅ 工业级流式ASR的基石
❌ 训练相对复杂

3.3 核心编码器：Conformer架构

无论采用上述哪种端到端机制，都需要强大的编码器来提取音频的深层特征。Conformer 是目前主流且性能最优的编码器架构。

设计理念 ：语音信号同时具有局部模式 （如共振峰、爆破音）和全局依赖（如语调、语义）。Conformer创新性地结合了卷积神经网络擅长捕捉局部相关性的优势，与Transformer自注意力机制擅长建模全局依赖的能力。

基本块结构：

python 复制代码

输入
  ↓
前半部前馈层（FFN）
  ↓
多头自注意力（捕获全局依赖）
  ↓
卷积模块（捕获局部模式）
  ↓
后半部前馈层（FFN）
  ↓
输出

多头自注意力模块：使模型能够关注输入序列中任何位置的信息，有效建模长距离的上下文依赖。
卷积模块 ：通常采用门控深度可分离卷积，这是一种高效的设计，能专门建模声学特征在时间和频率维度上的局部相关性（例如共振峰的连续变化）。

现代ASR的趋势是：使用Conformer作为核心编码器来提取鲁棒的特征，搭配RNN-T等机制实现高效流式识别，并在解码时外挂大型语言模型（LLM）进行重打分，以进一步提升识别准确率。

四、语言模型：注入先验知识

语言模型的发展史，也是一部文本表示与建模能力不断跃迁的历史。可以参考文章：
从 One-Hot 到 GPT：语言模型的演进之路

根本目标 ：对文本序列 Y = ( y 1 , y 2 , . . . , y L ) Y = (y_1, y_2, ..., y_L) Y=(y1,y2,...,yL) 本身的合理性进行建模，即计算其概率 P ( Y ) P(Y) P(Y)。在自动语音识别系统中，语言模型的核心作用是提供"这像一句话吗？"的先验知识，用于纠正声学模型因同音字、噪音等产生的错误，并提升识别文本的整体流畅度与语法正确性。

核心挑战：精准建模自然语言中复杂、长程的上下文依赖关系。

4.1 n-gram语言模型：基于计数的统计模型

n-gram模型是经典且实用的统计语言模型。其核心是马尔可夫假设，即认为当前词出现的概率仅依赖于其前 n − 1 n-1 n−1 个词。

核心公式 ：
P ( w i ∣ w 1 : i − 1 ) ≈ P ( w i ∣ w i − n + 1 : i − 1 ) = count ( w i − n + 1 : i ) count ( w i − n + 1 : i − 1 ) P(w_i | w_{1:i-1}) \approx P(w_i | w_{i-n+1:i-1}) = \frac{\text{count}(w_{i-n+1:i})}{\text{count}(w_{i-n+1:i-1})} P(wi∣w1:i−1)≈P(wi∣wi−n+1:i−1)=count(wi−n+1:i−1)count(wi−n+1:i)

其中， count ( ⋅ ) \text{count}(\cdot) count(⋅) 表示该词序列在训练语料中出现的次数。
平滑技术 ：为解决未登录词（零概率）问题，必须采用平滑技术，如加一平滑、古德-图灵估计、Kneser-Ney平滑等，将一部分概率质量分配给未见或低频事件。
特点：
- 优点：模型简单，训练和解码速度快。
- 缺点：① 存储开销随 n n n 增大呈指数增长；② 受限于窗口长度 n n n，无法建模长程依赖；③ 完全基于表面共现，缺乏语义泛化能力。

4.2 神经语言模型：基于分布式表示的深度模型

神经语言模型通过神经网络和词嵌入技术，从根本上克服了n-gram模型的局限性。

核心思想：将离散的词符号映射为低维、稠密的连续向量（词嵌入），然后利用神经网络（如RNN、LSTM、Transformer）来建模序列的上下文概率。
基本形式 （以早期前馈或RNN语言模型为例）：
P ( w i ∣ w 1 : i − 1 ) = Softmax ( E ⋅ h i + b ) P(w_i | w_{1:i-1}) = \text{Softmax}(E \cdot h_i + b) P(wi∣w1:i−1)=Softmax(E⋅hi+b)

其中， E E E 是词嵌入矩阵， h i h_i hi 是神经网络（如RNN或Transformer）在位置 i i i 产生的、编码了历史信息 w 1 : i − 1 w_{1:i-1} w1:i−1 的隐藏状态。
现代主流：基于Transformer的大语言模型

当前，基于Transformer 架构的大语言模型已成为绝对主流。它们通过"预测下一个词"的自回归目标（如GPT系列）或"还原被掩盖词"的掩码语言模型目标（如BERT）在海量无标注文本上进行预训练，获得了极其强大的语言理解和生成能力。
特点：
- 优点：① 能建模任意长度的上下文依赖；② 词嵌入带来良好的语义泛化性；③ 大语言模型具备丰富的世界知识和强大的推理能力。
- 缺点：模型参数量大，计算成本高。

在ASR中的融合方式 ：

语言模型的知识需要通过特定方式与声学模型结合，以优化最终识别结果：

浅融合 ：在解码（如束搜索）时，将声学模型得分 log ⁡ P A M ( Y ∣ X ) \log P_{AM}(Y|X) logPAM(Y∣X) 与外部神经语言模型得分 α log ⁡ P L M ( Y ) \alpha \log P_{LM}(Y) αlogPLM(Y) 加权求和。这是最常用、最稳定的方法。
冷/热融合：在ASR模型训练阶段，以不同方式将预训练好的语言模型网络集成到计算图中，进行联合优化或知识蒸馏。
内部化 ：某些端到端模型结构本身包含了语言建模组件，如RNN-Transducer中的预测网络，它作为一个独立的神经语言模型工作。此外，直接在海量文本上对ASR模型进行续训练，也是一种将语言知识内部化的方式。

五、解码器：在组合爆炸空间中的最优搜索

根本目标 ：在所有可能文本序列构成的巨大搜索空间 中，高效地找到使联合概率 P ( Y ∣ X ) P ( Y ) P(Y|X)P(Y) P(Y∣X)P(Y)最大的序列 Y ^ \hat{Y} Y^。这是一个组合优化问题。

核心挑战：搜索空间随序列长度呈指数级增长，必须使用启发式算法进行近似搜索。

5.1 传统解码：基于加权有限状态转换器

这是GMM-HMM时代的核心技术，至今仍在许多系统中用于集成语言模型。

思想：将整个搜索空间编译成一个静态的、优化过的巨大状态机。
步骤：
1. 构图：将隐马尔可夫模型（ H H H）、发音词典（ L L L）、语言模型（ G G G）用WFST代数组合： H ∘ min ⁡ ( det ⁡ ( L ∘ G ) ) H \circ \min(\det(L \circ G)) H∘min(det(L∘G))。
2. 确定化与最小化：优化该网络，使其搜索效率最高。
3. 搜索：在该静态网络上运行维特比算法，找到最优路径。

5.2 端到端解码：束搜索及其变种

这是CTC、Attention、RNN-T等模型的标准解码方式。

贪婪解码：每一步选择概率最大的词符。速度快，但易陷入局部最优。
束搜索 ：在每一步，保留概率最大的 K K K个候选序列 （称为束宽）。下一步为这 K K K个序列的每一个扩展所有可能词符，然后从 K × ∣ V ∣ K \times |V| K×∣V∣个新候选序列中重新选择前 K K K个最优的。
B t = TopK b ∈ B t − 1 , c ∈ V ( log ⁡ P ( b ) + log ⁡ P ( c ∣ b , X ) ) \mathcal{B}t = \text{TopK}{b \in \mathcal{B}_{t-1}, c \in V}\left( \log P(b) + \log P(c | b, X) \right) Bt=TopKb∈Bt−1,c∈V(logP(b)+logP(c∣b,X))
集束搜索 ：束搜索与外部语言模型浅融合的标准方式。得分函数为：
Score ( Y , X ) = log ⁡ P A M ( Y ∣ X ) + α log ⁡ P L M ( Y ) + β ⋅ length ( Y ) \text{Score}(Y, X) = \log P_{AM}(Y|X) + \alpha \log P_{LM}(Y) + \beta \cdot \text{length}(Y) Score(Y,X)=logPAM(Y∣X)+αlogPLM(Y)+β⋅length(Y)
其中 α \alpha α是语言模型权重， β \beta β是长度惩罚因子，用于避免模型倾向于输出过短序列。

六、前沿与展望：更先进的ASR技术、框架与模型

在由五大核心模块构成的经典ASR框架之上，技术正朝着更智能、更高效、更通用的方向快速演进。以下将从具体模型和框架的维度，梳理当前的主流与前沿。

6.1 基于大语言模型的ASR范式

此方向旨在将大语言模型强大的语言理解和生成能力与语音识别深度结合，是当前最前沿的趋势之一。

模型/框架	核心特点与贡献
Whisper	OpenAI开源的语音大模型，通过海量多语言、多任务（多语种识别、翻译、语种检测）数据训练，展现出强大的零样本泛化能力，支持99种语言，是当前通用语音识别的强大基线模型。
ASR+LLM 重打分框架	一种经典的融合范式。不直接替代传统ASR，而是将ASR模型（如Conformer-Transducer）产生的N-best候选列表或词格，输入到GPT、LLaMA等大语言模型中进行语义重打分与纠错，利用LLM的世界知识和推理能力显著纠正同音字、口语混乱等错误。
GLM-ASR / Fun-ASR	代表国产大模型与ASR的深度结合方向。此类模型通常针对中文及中英混合场景深度优化，集成RAG检索、热词增强、强化学习等技术，在垂直领域、方言识别上表现突出，并提供了从训练到服务部署的完整方案。

6.2 高效端到端与流式识别架构

为满足实时交互需求，低延迟、高性能的端到端模型是工业界研发重点，编码器和损失函数机制均在持续进化。

类别	代表模型/架构	核心特点
先进编码器	UniConformer / Conformer v2	Conformer的工业主流升级款，采用时频解耦注意力、稀疏注意力等机制，在保持或提升精度的同时降低计算复杂度。
	EfficientConformer / SqueezeConformer	专为端侧/低算力设备设计的轻量化变体，通过结构优化和压缩，在手机、耳机、智能音箱等设备上实现低延迟推理。
新一代建模范式	Paraformer	阿里达摩院提出的非自回归中文ASR模型。通过"Predictor"预测目标token数量，实现异步对齐与并行解码，在保持高精度的同时，解码速度比自回归模型快数倍，是当前中文离线场景的SOTA模型之一。
	Streaming Conformer-Transducer	工业级流式ASR的标准架构。以Conformer为编码器，RNN-Transducer为损失函数和推理框架，完美统一了声学建模、语言建模与流式对齐，是车载、会议等实时场景的标配。
	CTC-AED / RNNT-CTC 联合建模	混合建模范式的代表（如WeNet的U2++）。在训练时联合优化CTC和Attention Decoder（AED）或RNN-T损失，在推理时可灵活选择流式（CTC前缀波束搜索）或非流式（Attention重打分）路径，兼顾低延迟与高精度。

6.3 语音自监督预训练大模型

利用海量无标注语音数据预训练通用语音表征，是降低对标注数据依赖、提升模型泛化能力的核心技术。

模型	核心特点与意义
Wav2Vec 2.0 / HuBERT	自监督学习在语音领域的里程碑模型。通过对比学习（Wav2Vec 2.0）或掩码预测（HuBERT）任务在原始波形上学习强大表征，仅需少量标注数据微调即可达到优异性能，推动了低资源语音识别的发展。
SpeechT5	微软提出的统一语音语言大模型。采用统一的编码器-解码器Transformer架构，共享参数，通过不同的前置任务标识，一体化实现ASR、TTS、语音翻译、语音克隆等多种任务，展示了统一建模的潜力。
Data2Vec 2.0	一种模态通用的自监督学习框架，在语音、文本、图像上均表现优异。其学到的语音表征常被用作其他大模型系统的前端编码器。

6.4 多模态融合与鲁棒性增强

结合视觉等信息，提升复杂场景下的识别鲁棒性。

技术方向	代表模型/方法	核心价值
音视频融合	Audio-Visual Conformer	融合麦克风音频与摄像头唇动视觉信息。在强噪声、鸡尾酒会、低信噪比等纯音频模型失效的场景下，能借助视觉线索显著提升识别率，是鲁棒性研究的关键方向。
前端信号处理联合优化	基于深度学习的联合降噪、分离	将传统的信号处理模块（如降噪、语音分离）参数化，与后端ASR模型进行端到端联合训练，让前端处理直接为最终的识别准确性优化，而非单纯追求信号质量。

6.5 主流开源工具包与生态系统

成熟的工具包极大地降低了ASR研发与部署的门槛。

工具包	主导方/特点	代表性模型支持
WeNet	出门问问开源，生产就绪、中文友好。设计强调流式服务、易部署，是国内工业界最主流的框架之一。	Conformer, CTC, Transducer, U2/U2++
FunASR	阿里通义实验室开源，一体化解决方案。集成了Paraformer、Conformer等先进模型，并官方提供VAD、标点恢复、热词定制、说话人分离等周边功能，开箱即用。	Paraformer, Conformer, 流式模型
ESPnet	国际学术界主流框架，研究导向、灵活全面。覆盖ASR、TTS、语音翻译等全栈任务，社区活跃，最新论文复现多。	Transformer, Conformer, RNN-T, 自监督模型
Kaldi	经典框架，工业基石。虽以传统GMM-HMM闻名，但已扩展支持端到端模型。其高效的WFST解码图工具链至今仍在许多生产系统中使用。	GMM-HMM, nnet3, chain, RNN-T

总结趋势 ：现代ASR技术正沿着 "更大" （LLM赋能与语音大模型）、"更快" （非自回归与高效流式架构）、"更通用" （自监督预训练与多任务统一）以及 "更专精" （垂直场景优化、端侧部署、多模态融合）四个维度快速发展。选择具体技术栈时，需在识别精度、延迟、计算资源消耗和系统复杂度之间做出权衡。