（2025|ICLR，音频 LLM，蒸馏/ALLD，跨模态学习，语音质量评估，MOS）音频 LLM 可作为描述性语音质量评估器

Audio Large Language Models Can Be Descriptive Speech Quality Evaluators

目录

[1. 概述](#1. 概述)

[2. 研究背景与动机](#2. 研究背景与动机)

[3. 方法](#3. 方法)

[3.1 语音质量评估数据集](#3.1 语音质量评估数据集)

[3.2 ALLD 对齐策略](#3.2 ALLD 对齐策略)

[4. 实验结果分析](#4. 实验结果分析)

[4.1 MOS 评分预测（数值评估）](#4.1 MOS 评分预测（数值评估）)

[4.2 迁移能力（在不同语音领域测试）](#4.2 迁移能力（在不同语音领域测试）)

[4.3 语音 A/B 测试（偏好评估）](#4.3 语音 A/B 测试（偏好评估）)

[4.4 BLEU 分数（描述生成质量）](#4.4 BLEU 分数（描述生成质量）)

[5. 结论](#5. 结论)

---

1. 概述

该论文研究了 音频大语言模型（Audio LLMs） 在语音质量评估中的应用，并提出了一种新的对齐方法 ALLD（Alignment with LLM Distillation） 来增强模型的语音质量感知能力。

研究团队构建了 首个基于自然语言的语音质量评估数据集 ，包含多维度分析和 A/B 测试数据，旨在帮助 Audio LLMs 进行类似人类的语音质量分析。

实验表明，ALLD 方法在 均方误差（MSE） 、A/B 测试准确率 和 BLEU 分数 等指标上超越了 SOTA（最先进）模型，提升了音频 LLM 在多模态任务中的实用性。

研究贡献：

• 首次构建基于自然语言的语音质量评估数据集，提供比 MOS 数值更详细的语音质量描述。
• 提出 ALLD 方法 ，通过 LLM 知识蒸馏 让 Audio LLM 具备人类级别的语音质量评估能力。
• 超越传统 MOS 预测模型，不仅提升预测准确率，还能生成高质量的语音质量描述。
• 验证了 Audio LLMs 在多模态任务中的潜力 ，为未来 自适应音频智能体 研究奠定基础。

2. 研究背景与动机

现有 Audio LLMs 的局限：

• 主要专注于 语音内容解析 （如语音识别、翻译、问答），但 忽略了语音信号质量（如噪声、失真、连贯性）。
• 传统 LLMs 无法感知音频输入质量，因为 语音质量评估任务未被纳入多任务训练。

语音质量评估的重要性：

• 在语音通信、文本转语音（TTS）、语音编辑等应用中，语音质量是关键指标。
• 现有评估方法基于 均值主观评分（MOS） ，但仅提供 数值评分 ，无法解释 导致评分的因素。

研究目标 ：让 Audio LLMs 像人类一样 进行语音质量评估，提供 自然语言描述和解释。

3. 方法

3.1 语音质量评估数据集

研究团队构建了 首个基于自然语言的语音质量评估数据集，包含：

• 多维度分析 （噪声、颜色化、连贯性、响度）+ 整体 MOS 评分。
• A/B 测试（对比两个语音样本，生成偏好判断）。
• 综合评价示例（LLM 生成的质量描述，如："该语音略有失真，无背景噪声，但存在明显的不连贯性，MOS 评分 2.4"）。

3.2 ALLD 对齐策略

ALLD（Alignment with LLM Distillation） 采用 LLM 知识蒸馏来优化 Audio LLM 的语音质量感知能力。核心流程：

• 音频 LLM 处理原始音频，生成质量描述。
• 专家 LLM 作为参考模型，提供基于元信息的 "优选答案"。
• ALLD 通过 token 级蒸馏对齐 Audio LLM 输出，使其向专家 LLM 生成的描述靠拢。
• 优化目标 结合 偏好优化算法（DPO），最大化高质量输出的概率，同时最小化 Audio LLM 与专家 LLM 之间的 KL 散度。

4. 实验结果分析

4.1 MOS 评分预测（数值评估）

ALLD 方法在 MOS 预测任务 上取得 最佳均方误差（MSE = 0.17），比传统回归模型 CNN-SA-AP（MSE = 0.23）更精确。

在 Spearman 相关系数（SRCC）和线性相关系数（LCC） 上，ALLD 也优于传统方法，证明其泛化能力更强。

4.2 迁移能力（在不同语音领域测试）

在不同领域（如手机录音、法医语音）测试时，ALLD 依然保持高精度，说明其泛化能力优秀。

BLEU 分数在多个测试集上均有所提升，表明 ALLD 增强了 Audio LLM 的语言能力。

4.3 语音 A/B 测试（偏好评估）

ALLD 的 A/B 测试准确率达到 98.6%，比单独使用 MOS 训练的模型（95.6%）更精准。

证明 ALLD 方法不仅能预测 MOS，还能进行高质量的语音对比分析。

4.4 BLEU 分数（描述生成质量）

ALLD 在BLEU 评分 （文本描述质量指标）上达到 25.8，远超基线模型（23.4）。

说明 ALLD 生成的语音质量描述更加自然、精准、富有信息。

5. 结论

本文提出 ALLD 方法 ，首次让 Audio LLMs 具备类似人类的语音质量感知能力 。通过 数据集构建 + LLM 蒸馏训练 ，ALLD 在 MOS 预测、A/B 测试、描述生成 三大任务上超越 SOTA 模型，提升了 音频 LLM 的多模态理解能力 。这项研究为 AI 语音质量评估、文本转语音（TTS）、语音编辑等应用 提供了新的方向，推动了真正感知和理解音频信号的智能系统 发展。

未来研究方向：

• 更细粒度的语音质量分析 ：目前 MOS 评估以句子级 为主，未来可扩展至单词级 或音素级评估。
• 无监督语音质量评估 ：探索零样本或少样本学习，减少对大规模标注数据的依赖。
• 自适应 Audio LLMs ：让模型在处理不同音频任务时自动适应质量评估需求，实现端到端智能音频分析。

**论文地址：**https://www.arxiv.org/abs/2501.17202

**进 Q 学术交流群：**922230617