粤语客服录音如何实现自动质检？从 ASR 语音识别到大模型分析

对于拥有大量电话客服业务的企业来说，录音质检一直是一项耗费人力的工作。

银行、保险、电信、物业以及公共服务热线，每天都会产生大量通话记录。企业需要判断客服人员是否按流程介绍业务、是否遗漏关键告知事项、是否妥善处理客户投诉，以及是否存在不规范服务行为。

传统方式主要依赖人工抽检。质检人员反复听取录音，按照预设规则逐项打分，再整理成质检报告。

但如果企业服务对象主要集中在广东、香港和澳门，问题还会复杂一些：不少客户习惯使用粤语，通话中甚至会同时夹杂普通话和英语。

这意味着，自动质检系统首先需要解决的，可能不是大模型能否理解客服规则，而是能否准确还原客户和客服之间的真实对话。

随着粤语 ASR（Automatic Speech Recognition，自动语音识别）技术逐渐成熟，将电话录音转换成结构化文本，再结合规则引擎和大模型完成自动质检，已经成为一种可行的技术路线。

一、为什么客服质检比普通语音转写更复杂？

普通语音转写的任务相对明确：将一段音频转换为对应文字。

客服质检则不同。

例如客户用粤语说：

我上个礼拜已经打过电话，但系到而家都未有人帮我处理。

系统首先需要识别出客户表达的内容，再判断这句话是否涉及重复投诉、处理超时或者服务体验问题。

随后，质检系统还需要查看客服人员的回应：

唔好意思，我帮你查返之前嘅工单记录。

这两段对话不仅包含语音信息，还包含业务关系：客户提出了问题，客服是否作出合理回应，后续是否承诺跟进。

因此，完整的客服自动质检并不是一个独立模型就能够完成的。

通常需要经过以下处理链路：

客服通话录音
      ↓
音频解码与预处理
      ↓
粤语 ASR 语音识别
      ↓
客服 / 客户角色区分
      ↓
文本规整与时间戳对齐
      ↓
业务规则引擎 + 大模型分析
      ↓
风险标记与质检评分
      ↓
质检报告 / 人工复核

其中，ASR 负责还原对话内容，而质检规则和大模型负责判断业务行为。

两者的任务边界需要区分清楚。

二、真实客服通话中，粤语识别面临哪些难点？

与录音棚里的标准发音相比，客服电话有几个比较典型的特点。

首先是电话音频本身的质量限制。传统电话录音可能采用 8kHz 采样率，部分通话还受到线路噪声、语音压缩和背景声音影响。

其次是语言混用。

例如香港地区的客服通话中，可能出现：

你个 account 已经更新咗，但个 payment 仲未完成。

这句话同时包含粤语与英语词汇。

如果模型没有充分处理粤英混说，可能将 account、payment 等词识别成音近的中文，或者直接遗漏。

第三个问题是行业专有名词。

银行客服需要识别账户、产品名称和交易类型；保险客服需要处理保单编号、险种和理赔术语；电信客服则可能涉及套餐、账单和网络故障。

这些词汇并不一定频繁出现在通用语音训练数据中。

因此，对于客服语音识别，除了 CER（字错误率）等基础指标，还应该单独统计：

• 粤语语音的识别错误率；
• 粤语、普通话和英语混说时的错误率；
• 产品名称和行业术语的识别情况；
• 金额、日期、订单编号等关键字段的准确性；
• 客服与客户发言归属的准确性。

尤其是涉及金额和否定表达时，少量识别错误就可能影响质检结论。

例如"已经退款"和"未退款"，只差一个字，但对应的业务含义完全不同。

这也是为什么实际系统不能直接把未经验证的 ASR 文本当成最终业务事实。

三、自动质检的关键：从语音还原到结构化对话

客服录音与会议录音有一个重要区别：许多呼叫中心可以从录音系统中分别获得客服侧和客户侧音频。

如果录音采用双声道保存，且两个声道分别对应客服与客户，那么可以直接依据通道确定说话角色。

例如：

Channel 1 → 客服人员
Channel 2 → 客户

这种方式通常比在混合音频上重新判断说话人更加直接。

如果系统只能获得单声道混合录音，则可能需要 Speaker Diarization（说话人区分）技术，将不同发言片段归属到不同说话人，再结合已有坐席信息确定角色。

完成识别后，可以把结果组织成结构化数据。

例如：

{
  "call_id": "CALL_20261026_001",
  "segments": [
    {
      "speaker": "customer",
      "start": 12.5,
      "end": 16.8,
      "text": "我上个礼拜已经打过电话。"
    },
    {
      "speaker": "agent",
      "start": 17.2,
      "end": 20.6,
      "text": "我帮你查返之前嘅记录。"
    }
  ]
}

这类数据包含三个重要维度：谁说的、什么时候说的、说了什么。

有了这些信息，后续质检系统就不必反复处理原始音频，而可以基于文本和时间戳分析通话内容，并在需要时回到录音对应位置验证。

对已有客服平台来说，结构化结果也更容易接入工单系统、CRM 或质检管理后台。

四、规则引擎和大模型，应该怎样分工？

自动质检最容易出现的误区，是把整段客服录音直接交给大模型，然后要求它给出一个综合分数。

这种方式虽然容易实现，但缺乏稳定、可解释的评分依据。

更合理的做法是将质检任务分成两类。

第一类是规则相对明确的检查。

例如：

• 客服是否完成规定的身份核验流程；
• 是否告知必要的费用信息；
• 是否提及退款处理时限；
• 是否出现明确禁止的话术。

这类检查可以由规则引擎与文本分类模型配合完成。

例如，某项业务要求在退款前核实客户身份，可以先检测通话中是否存在身份核验步骤，再依据核验结果的上下文判断流程是否完整。

不过，不能仅凭命中某个关键词就认定合规。即使客服提到了"身份核验"，也不一定真正完成了核验。

第二类是依赖语义理解的检查。

例如：

• 客户的主要诉求是什么；
• 客服是否真正回应了问题；
• 客户是否多次重复同一投诉；
• 客服是否作出了未经确认的承诺；
• 是否存在需要人工跟进的风险。

这些任务更适合使用大模型分析对话上下文。

系统可以要求模型输出结构化质检结果：

{
  "complaint_detected": true,
  "issue_type": "重复投诉",
  "agent_response": "查询历史工单",
  "follow_up_required": true,
  "risk_level": "medium",
  "evidence_segments": [0, 1]
}

上述结构是一种质检接口设计示例，实际字段可以根据业务规则调整。

其中值得关注的是 evidence_segments。

自动质检不应该只给出"合格"或者"不合格"，还应尽可能返回判断依据对应的发言片段，让质检人员能够快速回听。

如果模型识别出违规承诺，也应同时保存关联的录音位置和文本证据，供人工确认。

这样才能把自动质检从单纯的文字分析，变成可审核、可追溯的业务流程。

五、粤语语音能力可以怎样接入现有客服系统？

对于已经拥有呼叫中心、CRM 和质检平台的企业来说，通常不需要为了新增粤语识别功能而重新开发整套客服软件。

一种更直接的方式，是将 ASR 和说话人分析封装成独立语音服务。

原有系统负责通话采集、工单管理与质检任务调度；语音服务负责把录音转换成结构化文本；规则引擎和大模型则在此基础上完成自动分析。

在这种架构中，语音能力提供商不一定需要交付完整的客服质检平台。

例如熙瑾信息的语音技术已应用于 AI 会议产品熙瑾会悟，涵盖语音转写、说话人区分等能力，也可以按照独立模块的方式接入其他业务产品。熙瑾会悟相关语音能力经过 CNAS 认可实验室检测，支持包括广东粤语在内的至少 25 种方言，同时产品取得了银河麒麟、统信软件的兼容性互认证明。

对于粤语客服场景，可以利用其中的方言语音识别能力完成通话文本生成，再与企业已有的质检规则、工单系统及大模型服务配合，实现针对粤语通话的自动分析。

需要注意，会议转写与客服质检虽然能够复用语音识别技术，但电话音频、双声道处理和业务规则都有各自的要求。实际集成仍需针对目标录音格式、并发量以及混合语言环境开展测试。

对于金融、政企等需要内网部署的项目，还可以考虑将语音服务部署在企业内部网络中，让通话录音不必上传公网。

这类架构能够尽量保留企业现有的软件系统，同时补充原先缺乏的地方语言处理能力。

六、怎样评价一套粤语客服自动质检系统是否真正可用？

如果准备在呼叫中心部署粤语自动质检，我认为应该把验收分成三个层次。

评测层次	关注指标	主要目的
语音识别层	CER、混合语言错误率、关键字段正确率	判断录音能否准确转写
质检分析层	违规召回率、误报率、证据定位准确率	判断质检结论是否可靠
系统运行层	单小时音频处理成本、处理时延、并发量	判断能否进入生产环境

这里还有一个非常实际的问题：自动质检追求的并不只是转写准确率，而是关键风险能否被发现。

假设某套系统的整体语音识别错误率较低，但经常把"不会收取额外费用"识别成"会收取额外费用"，那么它可能产生大量错误质检结果。

因此，涉及金额、否定词、时间承诺以及身份核验的语句，应该建立专门测试集。

质检层同样需要人工标注的验证数据。

例如先由质检人员对一批粤语通话进行标注，明确哪些通话确实存在违规、哪些属于合规，再将系统结果与人工结果比较，计算精确率和召回率。

对于高风险质检规则，应优先保证漏检率处于可接受范围，并通过人工复核处理模型标记的可疑通话。

最后还要考虑运营效率。

离线批量质检可以在通话结束后统一处理，对实时延迟要求相对较低；如果需要在客服通话过程中提醒坐席，则必须增加流式 ASR 和实时分析链路。

这两种架构的资源成本与工程复杂度并不相同，企业应根据实际业务需求选择。

七、从抽样听录音到大规模自动分析

粤语客服自动质检的价值，并不只是减少人工听录音的时间。

更重要的变化，是把原本难以利用的音频资料转换成可分析的数据。

例如：

哪些业务问题最容易引发重复投诉？

不同客服团队的服务流程是否存在差异？

某类产品介绍是否经常遗漏关键事项？

哪些客户诉求长期没有得到有效处理？

当通话转写、业务分类和质检分析形成完整的数据链路，这些问题就可以通过持续积累的通话数据进行观察，而不再完全依赖少量人工抽样。

2026 年，香港数字政策办公室宣布在 1823 服务中进一步利用语音识别和大模型，对特定主题的来电实时转写并生成个案摘要，预计可缩短约 15% 的通话后个案处理时间。这一案例虽然重点在工单处理效率而非完整自动质检，但体现了语音转写向业务自动化延伸的方向。

对于拥有大量粤语通话的企业来说，下一步需要解决的也不只是"AI 能不能听懂粤语"。

而是如何让粤语识别、对话结构化、规则判断和大模型分析形成一条稳定、可验证的处理链路。

当这条链路真正建立起来以后，客服录音就不再只是用于事后追溯的存档文件，也能够成为持续改进服务质量的重要数据来源。