基于3D-Speaker进行区分说话人项目搭建过程报错记录 | 通话录音说话人区分以及语音识别 | 声纹识别以及语音识别 | pyannote-audio

0. 研究背景

在外呼系统中,我们的后台管理系统通常要对电话录音的内容进行提取和分析。那么说到分析,我们就要对录音中的两个人的对话进行分离,然后分别分析,比如分析客户是否有合作的意愿,分析客服讲的话术是否合理,分析客户情绪等等。那么这里就需要首先做说话人的分离。目前市面上有众多的说话人分离开源项目,其它国内比较知名的是阿里巴巴旗下的3D-Speaker

为了测试3D-Speaker看看能否对电话录音中的说话人分离情况,自己租了一台服务器,然后进行搭建,下面是我的搭建过程,本篇文章主要记录我搭建过程中遇到的一些问题,以及最后测试的情况。

1. 环境介绍

OS: Ubuntu Server 22.04

Python: 3.11

2. 开始搭建

创建环境

shell 复制代码
conda create -n spk python=3.11
conda activate spk

克隆源码

shell 复制代码
git clone https://github.com/modelscope/3D-Speaker.git
cd 3D-Speaker

安装依赖

shell 复制代码
pip install -r requirements.txt

注意:我实际在安装过程中修改了这个文件,把scikit-learn删除了,因为不删除,在安装过程中会报错,需要通过conda命令安装。

shell 复制代码
conda install scikit-learn

此外还需要安装下面依赖

shell 复制代码
cd egs/3dspeaker/speaker-diarization
pip install requirements.txt

注意:我实际在执行之前删掉了里面的一些依赖,有些依赖安装过程中报没有找到。打开这个文件,我删除了pyannote的依赖,然后手动安装了pyannote-audio。还有,在实际安装过程中会报numba问题,是因为这个文件中规定了版本,所以需要把文件中的版本号删掉。

shell 复制代码
pip install pyannote-audio

此外还有一些依赖需要手动安装

shell 复制代码
pip install onnx simplejson datasets==2.20.0 pydub onnxconverter_common

3. 测试

运行下面代码来测试

python 复制代码
from speakerlab.bin.infer_diarization import Diarization3Dspeaker
wav_path = "audio.wav"
pipeline = Diarization3Dspeaker()
print(pipeline(wav_path, wav_fs=None, speaker_num=None)) # can also accept WAV data as input

但是经过测试发现对这个audio.wav录音不没有正确区分说话人。

4. 优化

目前试过使用cam++以及使用pyannote-audio都未能正常区分出通话录音中的每个说话人。于是自己根据常规做法,先通过vad算法获取到每段声音的时间戳,然后对其每个音频片段计算声纹特征值向量,然后通过无监督聚类算法对其声纹特征相似的片段聚类。

最终实现了通话录音区分说话人的语音识别。

5. 其它

更多内容欢迎访问我的博客

说话人识别GUI程序可访问我的淘宝

相关演示视频,可在我的B《编程分享录》

个人github代码仓库,可访问这里

相关推荐
杭州泽沃电子科技有限公司1 天前
钢铁厂运输设备在线监测:构建智能工厂的安全与效率基石
运维·人工智能·智能监测
董厂长1 天前
阅读:REACT: SYNERGIZING REASONING AND ACTING INLANGUAGE MODELS(在语言模型中协同推理与行动)
人工智能·语言模型·agent·react
技术闲聊DD1 天前
深度学习(5)-PyTorch 张量详细介绍
人工智能·pytorch·深度学习
Lucas555555551 天前
多模态RAG进阶:基于GPT-4V+LangGraph的下一代智能体系统完全指南
人工智能
小白狮ww1 天前
LiveCC 首个视频解说大模型开源,比赛视频也能轻松拿捏!
人工智能·深度学习·机器学习
hhhdd_20251 天前
5 款 PDF 翻译工具深度测评:从格式到免费权限全解析
人工智能·机器学习
小笼包工具箱1 天前
2025 年六款 AI 视频转文字工具实测分析:功能与场景适配对比
人工智能·文案提取·提取文案·文案提取工具
字节跳动终端技术1 天前
豆包编程能力升级,新增参考图、画板等多元化输入
人工智能
机器之心1 天前
DeepSeek的新模型很疯狂:整个AI圈都在研究视觉路线,Karpathy不装了
人工智能·openai
机器之心1 天前
Anthropic上线了网页版Claude Code
人工智能·openai