Something wrong with the VAD algorithm

1、错误原因

调用阿里语音识别模型 paraformer-large-zh 进行多线程推理时出现错误内容如下:

bash 复制代码
warning

Something wrong with the VAD algorithm

或

VAD data_to_pop is bigger than cache["stats"].data_buf .size() !!!

error in calling pop data_buf

代码调用使用funasr库加载,如下:

python 复制代码
from funasr import AutoModel

model = AutoModel(model="paraformer-zh", model_revision="v2.0.4",
                  vad_model="fsmn-vad", vad_model_revision="v2.0.4",
                  punc_model="ct-punc-c", punc_model_revision="v2.0.4"
                  )
res = model.generate(input=f"{model.model_path}/example/asr_example.wav", 
            batch_size_s=300, 
            hotword='魔搭')
print(res)

上述代码使用了语音识别model="paraformer-zh"、端点检测vad_model="fsmn-vad"、标点符号模型punc_model="ct-punc-c",其中,vad和punc是协同使用的,而业务中多线程并发推理时出现了错误:Something wrong with the VAD algorithm,主要是vad算法的错误,最后通过多线程模拟发现语音识别过程中,vad模型无法并发调用。

2、业界方法

实际上提出该问题的博文较多,如funasr官方github 的issue中均有提及,但没有官方回复,有一位老哥提出了队列方法的解法 。各位可以看看,后面我提出我的解法及启发解法

3、解法

其实本质就是解决语音识别中三个模型不能并发调用的问题,在多线程环境里,我们可以使用线程锁来解决,只需要添加几行代码,就能解决该错误,下面我来举个例子如何添加,首先需要明确一点,多线程访问共享资源时,需要加锁,比如语音识别模型,读写统一文件等等,而我们加锁只需要加在实际语音模型的调用函数中,模型初始化、传参过程不需要加锁,比如你在deal.py文件中使用了语音识别模型asr_model

python 复制代码
# deal.py

def deal(audio_name):
    result = asr_model.generate(input=audio_name,
                                batch_size_s=300,
                                hotword=[])
    result 处理

加锁方式如下:

python 复制代码
# deal.py

import threading
lock = threading.Lock()

def deal(audio_name):
    with lock:
        result = asr_model.generate(input=audio_name,
                                    batch_size_s=300,
                                    hotword=[])
    result 继续处理

如上方式即可实现多线程并发调用语音识别模型,实现方法简单,可快速实现,在调用代码中添加锁即可。

上述思想也可以理解为队列方式,只不过这个队列我是通过线程锁来实现的,亲测有效,如有问题评论区交流。

相关推荐
hunteritself12 小时前
ChatGPT高级语音模式正在向Web网页端推出!
人工智能·gpt·chatgpt·openai·语音识别
唯创知音4 天前
WTV芯片在智能电子锁语音留言上的应用方案解析
人工智能·单片机·物联网·智能家居·语音识别
女王の专属领地5 天前
深入浅出《钉钉AI》产品体验报告
人工智能·钉钉·语音识别·ai协同办公
檀越剑指大厂5 天前
自动语音识别(ASR)与文本转语音(TTS)技术的应用与发展
人工智能·语音识别
晓风伴月5 天前
腾讯IM web版本实现迅飞语音听写(流式版)
前端·语音识别·讯飞语音听写
Luke Ewin6 天前
开源的说话人分离项目 | 可以对指定的音频分离不同的说话人 | 通话录音中分离不同的说话人
python·开源·音视频·语音识别·说话人分离·说话人归类
陌上阳光6 天前
初学人工智不理解的名词3
人工智能·语音识别
hunteritself7 天前
谷歌Gemini发布iOS版App,live语音聊天免费用!
人工智能·ios·chatgpt·openai·语音识别
逐星ing7 天前
[AIGC]使用阿里云Paraformer语音识别录音识别 API 进行音频处理 —— 完整流程及代码示例
人工智能·spring·阿里云·aigc·语音识别
shelly聊AI8 天前
语音识别原理:AI 是如何听懂人类声音的
人工智能·语音识别