从5秒延迟到轻量级推理：eGeMAPS与Embedding原型库的情感识别实践

一、问题背景：模型能输出结果，不代表真的可用

在语音情感识别项目中，模型最容易暴露的问题并不一定是准确率，而是实际音频输入后，输出结果是否稳定、及时，并且符合人的听感。

项目测试过程中，原有 Covo-Audio 方案出现了两个比较明显的问题。

第一，情感信息提取不足。 模型能够处理语音，但在部分会议录音中，输出的情感判断缺乏区分度。对于语气平缓、情绪变化细微的发言，结果容易趋于中性，难以体现不同说话状态之间的差异。

第二，端到端延迟超过5秒。 如果需要等待较长时间才能得到情感分析结果，就会影响实时交互和会议过程中的即时反馈。对于已经完成语音转写、正在进行会议分析的业务来说，这种等待也会拖慢后续处理链路。

继续单纯调整原模型参数，未必能同时解决效果和延迟问题。因此，我们将技术路线调整为：使用 eGeMAPS 提取可解释的声学特征，再结合 embedding 原型库完成相似度匹配。

这套方案的重点不是追求更大的模型，而是将情感识别拆分为特征提取、向量表征、原型匹配三个相对独立的环节，降低推理链路的复杂度。

二、技术路线：为什么选择 eGeMAPS + Embedding

1. eGeMAPS：先从声音本身寻找线索

eGeMAPS 是面向语音与情感计算的标准化声学特征集，通常通过 openSMILE 工具提取。其特征涉及基频、响度、频谱、发声质量以及语音时间结构等信息。

例如：

• 基频及其变化，可以反映音高起伏。

• 响度变化，可以反映说话时的能量变化。

• Jitter、Shimmer 等指标，可以描述部分发声周期的波动。

• 频谱特征能够补充声音明暗、音色等方面的信息。

• 停顿与有声片段的时间统计，可以辅助分析表达节奏。

常见的 eGeMAPSv02 功能级特征输出为88维向量，适合用作轻量级分类器的输入。

需要注意，声学特征反映的是声音表现，而不是人的真实心理状态。音高升高不一定意味着愤怒，响度降低也不一定代表悲伤。因此，不能通过某一个特征直接下情绪结论，而应该综合多个特征进行判断。

2. Embedding：让相似的表达在向量空间中靠近

仅使用人工设计的声学特征，可能难以覆盖复杂的表达方式。因此，可以进一步使用已经训练好的音频编码器，将语音片段转换成固定维度的 embedding 向量。

假设编码器输出向量为：

其中，(x) 是一段语音，(f) 是特征编码器，(d) 是向量维度。

随后对向量进行 L2 归一化：

这样可以减弱向量模长差异对余弦相似度的影响。

需要强调的是，普通音频 embedding 并不天然具备情感区分能力。如果编码器主要用于语音识别或通用音频表征，它可能更关注语音内容、说话人或其他声学信息。实际使用前，必须通过带情感标签的数据验证其有效性；必要时还需要训练情感投影层或更换情感相关编码器。

3. 原型库：把复杂分类转化为相似度计算

原型库的核心思路比较直接：为每种目标情感保存一个或多个具有代表性的向量。

例如，业务可以先定义中性、积极、紧张、低落四类标签。对每类经过人工复核的训练样本提取 embedding，再计算该类向量的均值，得到原型：

实际工程中，应在求均值后再次进行 L2 归一化。

推理阶段，计算输入向量与每个原型之间的余弦相似度：

选择相似度最高的类别作为候选结果，同时设置最低相似度阈值。如果所有类别的相似度都不够高，就返回"无法可靠判断"，而不是强行给出情绪标签。

三、工程实现：从声学特征到原型匹配

下面给出一份可独立运行的核心示例。为方便部署，代码将 eGeMAPS 特征和 embedding 分别处理，最后通过归一化后的向量进行匹配。

1. 安装依赖

pip install numpy opensmile

示例采用 openSMILE 的 Python 接口提取 eGeMAPSv02 特征。实际部署时，还需要准备经过训练和验证的音频 embedding 编码器。

2. 提取 eGeMAPS 特征

import numpy as np
import opensmile

smile = opensmile.Smile(
    feature_set=opensmile.FeatureSet.eGeMAPSv02,
    feature_level=opensmile.FeatureLevel.Functionals
)

def extract_egemaps(audio_path):
    features = smile.process_file(audio_path)

    if features.empty:
        raise ValueError("未提取到有效声学特征")

    vector = features.iloc[0].to_numpy(dtype=np.float32)

    if not np.isfinite(vector).all():
        raise ValueError("声学特征中存在 NaN 或 Inf")

    return vector

这里使用功能级特征，输出固定长度的统计向量，而不是保存每一帧的完整特征序列。对于短语音片段，可以减少后续分类器处理的数据量。

不过，固定长度统计也有局限：同样的平均音高可能来自完全不同的音高变化过程。因此，如果业务需要识别细粒度的情绪转折，应当保留帧级特征，或者采用滑动窗口提取特征。

3. 构建 embedding 原型库

下面使用 NumPy 实现归一化、原型生成与相似度匹配。示例中的 embedding 由外部编码器生成，不代表 eGeMAPS 本身能够直接产生 embedding。

import numpy as np

def normalize(vector, eps=1e-8):
    vector = np.asarray(vector, dtype=np.float32)
    norm = np.linalg.norm(vector)

    if not np.isfinite(norm) or norm < eps:
        raise ValueError("向量无效或接近零向量")

    return vector / norm


def build_prototype(samples):
    """
    samples: 同一情感类别的 embedding 列表
    """
    vectors = np.stack(
        [normalize(x) for x in samples],
        axis=0
    )

    return normalize(vectors.mean(axis=0))


def predict_emotion(embedding, prototypes, threshold=0.65):
    query = normalize(embedding)

    scores = {
        label: float(np.dot(query, normalize(proto)))
        for label, proto in prototypes.items()
    }

    best_label = max(scores, key=scores.get)
    best_score = scores[best_label]

    if best_score < threshold:
        return {
            "label": "unknown",
            "score": best_score,
            "scores": scores
        }

    return {
        "label": best_label,
        "score": best_score,
        "scores": scores
    }

这里的 0.65 只是演示参数，并非通用情感识别阈值。正式项目需要在独立验证集上进行校准，并根据误报成本、漏报成本确定阈值。

此外，原型库不宜只为每种情感保留一个均值。真实语音中，同一情感可能存在不同说话风格、音域和表达强度。可以针对同一类别维护多个原型，再取最高相似度或进行加权融合，减少单一中心被异常样本拉偏的问题。

4. eGeMAPS 如何与 embedding 融合

两类特征具有互补潜力，但不能直接假设拼接后一定有效。

一种较稳妥的做法是先对 eGeMAPS 进行标准化，再使用训练好的投影层转换为与 embedding 兼容的向量空间：

其中，(e) 为声学特征，(W_a) 和 (b_a) 是通过训练得到的参数。

然后将声学向量与 embedding 分别归一化，并按验证集确定的权重进行融合：

这里的 (\alpha) 需要通过实验选择，而不是直接使用固定经验值。

如果没有足够的情感标注数据训练投影层，可以先采用两个独立分支：声学特征分支输出分类概率，embedding 分支输出原型相似度，最后在验证集上做概率融合。这样更容易定位究竟是哪条分支带来了误判。

四、性能优化：不能只看模型推理时间

原方案延迟超过5秒时，首先应该拆解完整链路，而不是直接认定全部时间都花在模型计算上。

建议记录以下阶段：

1. 音频解码及重采样耗时。

2. VAD 与有效语音片段切分耗时。

3. eGeMAPS 特征提取耗时。

4. embedding 编码耗时。

5. 原型匹配及结果后处理耗时。

6. 排队等待和服务调用耗时。

原型匹配本身通常只涉及向量点积。当原型数量和维度有限时，这部分计算相对简单；但如果 embedding 编码器本身很重，或者音频被反复解码，整体延迟仍然可能偏高。

针对实际服务，可以采取以下措施：

• 对同一音频只解码一次，复用采样后的数据。

• 使用滑动窗口处理长音频，避免每次都对整段录音重新推理。

• 对 eGeMAPS 提取结果进行缓存，避免重复计算。

• 控制并发队列长度，避免计算时间之外的排队延迟。

• 记录 P50、P95 和 P99 延迟，区分平均表现与尾部延迟。

• 将特征提取、编码器推理和原型匹配分别计时，确定真正的瓶颈。

在类似熙瑾会悟的离线会议分析场景中，情感结果还可以与说话人分段和会议文本关联。但应当先完成音频时间戳对齐，再汇总发言人的情感趋势，避免把不同人的声音或相邻片段错误合并。

五、验证方案：如何证明新路线确实有效

切换技术方案后，不能仅凭少量样本听感改善就认定模型已经达到上线要求。

建议使用相同测试集，对原方案和新方案进行对照实验，并至少关注以下指标：

指标	主要目的
Macro-F1	观察各类情感的整体识别效果
UAR	降低类别样本数量不均衡带来的影响
混淆矩阵	分析中性、积极、紧张等类别之间的误判
拒识率	评估低置信度样本的处理情况
P50/P95 延迟	观察典型和尾部推理耗时
CPU、内存占用	判断离线设备能否稳定运行

测试集应按会议或说话人划分，避免同一说话人的相似片段同时进入训练集和测试集，导致评估结果过于乐观。

还需要特别关注噪声、多人重叠发言、长时间停顿、低音量表达以及不同说话人之间的差异。对于真实会议语音，情绪标签往往存在主观性，最好由多人独立标注，再对分歧样本进行复核。

六、总结

这次技术路线调整的关键，是将情感识别从单一端到端模型转为更容易分析和优化的模块化方案。

eGeMAPS 提供可解释的声学线索，embedding 提供向量表征能力，原型库则通过余弦相似度完成轻量级匹配。三者组合后，既方便定位误判来源，也便于在本地环境中进行部署和维护。

但这套方案并不意味着必然优于原模型。最终效果取决于 embedding 是否包含有效的情感信息、训练样本是否具有代表性、阈值是否经过校准，以及实际设备上的推理链路是否得到优化。

工程上真正值得沉淀的经验是：先把问题拆开测量，再用可验证的特征和指标逐步替换不可控的环节。 比起单纯追求模型规模，这种方法更适合对延迟、资源占用和可维护性都有要求的语音应用。