【语音识别】SenseVoice非流式改流式

原始基于Funasr框架的SenseVoice是中英文转录模型,在官方的文档中,仅支持微调,不支持热词和流式输出,这肯定会在一定程度上影响用户的体验,有大神对其网络结构进行了魔改,使其成为一个支持热词,可微调,可流式的中英文语音转录模型。
github上魔改之后的地址(感谢这位大神的分享):流式SenseVoice

一、 本地文件加载

这里代码中原有加载本地文件的程序,是有问题的。

python 复制代码
import soundfile as sf

from streaming_sensevoice import StreamingSenseVoice


def main():
    contexts = ["停止"]
    model = StreamingSenseVoice(contexts=contexts)

    samples, sr = sf.read("data/test_16k.wav")
    # 这里不知道为什么要*3,如果这样,一定是会检测三遍
    samples = (samples * 32768).tolist() * 3

    step = int(0.1 * sr)
    for i in range(0, len(samples), step):
        is_last = i + step >= len(samples)
        for res in model.streaming_inference(samples[i : i + step], is_last):
            print(res["timestamps"])
            print(res["text"])


if __name__ == "__main__":
    main()

更改之后的代码:

python 复制代码
import soundfile as sf						# 这个库用来读取和写入音频文件
from streaming_sensevoice import StreamingSenseVoice	# 外部模块
def main():
    contexts = ["停止"]						# 这里应该就是热词加载的模块
    model = StreamingSenseVoice(contexts=contexts, model='/data/H2413325/code_dir_V2/FunASR-main/examples/industrial_data_pretraining/sense_voice/SenseVoiceSmall',
                               device='cuda:0')
	 # soundfile读取WAV文件,这里的文件一定是16KHZ,读取之后的samples是音频文件的采样数据,是数组格式,sr是音频采样率
    samples, sr = sf.read("data/Meeting1_16k.wav")
    assert sr == 16000
    # 将音频数据的范围从float浮点区间,转换为整数形式,通常是16位整数(int16)astype('int16')是int16类型。
    # tolist()将numpy数组转换为list列表,因为流式识别模型通常接收Python列表格式的数据
    samples = (samples * 32768).astype("int16").tolist()
    # 步长,每次仅传输0.1秒的数据,也就是0.1*sr个音频片段 样本数 = 0.1*16000
    step = int(0.1 * sr)
    # for循环按照步长处理音频片段,i是当前音频块的起始位置,每次循环会处理长度为0.1秒的数据
    for i in range(0, len(samples), step):
        chunk = samples[i : i + step]			# 0~1600    1600~3200  3200~4800  ...
        is_last = i + step >= len(samples)	# 判断是否是结尾,如果是结果,is_last==0
        results = model.streaming_inference(chunk, is_last)   	# 流式传入模型
        # 处理转录结果
        for res in results:
            if res["text"].strip():
                print(f"[{res['timestamps']}] {res['text']}")

if __name__ == "__main__":
    main()

本地文件的识别效果如下图所示:

相关推荐
天树星智源3 分钟前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔6 分钟前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang1 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE9 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷10 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我11 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0111 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn12 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄12 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下13 小时前
langgraph 全栈项目(三)
前端·人工智能·后端