快速识别音频文件转成文字

一、SenseVoice概述

阿里云通义千问开源了两款语音基座模型 SenseVoice(用于语音识别)和 CosyVoice(用于语音生成)。

SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测,有以下特点:

  • 多语言识别 :采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型

  • 富文本识别 :具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果;支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测

  • 高效推理 : SenseVoice-Small 模型采用非自回归端到端框架,推理延迟极低,10s 音频推理仅耗时 70ms,15 倍优于 Whisper-Large

  • 微调定制:具备便捷的微调脚本与策略,方便用户根据业务场景修复长尾样本问题

  • 服务部署:具有完整的服务部署链路,支持多并发请求,支持的客户端语言有 python、c++、html、java 与 c#等

体验地址:魔搭社区

二、本地测试

1、项目源码克隆

复制代码
git clone https://gitee.com/zhyqieqie/SenseVoice.git

2、安装依赖

复制代码
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

3、测试

vi test.py

test.py内容(加载线上的一个音频文件并且自动解析出文件的文字):

复制代码
from model import SenseVoiceSmall

model_dir = "iic/SenseVoiceSmall"
m, kwargs = SenseVoiceSmall.from_pretrained(model=model_dir)


res = m.inference(
    data_in="https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example_zh.wav",
    language="auto", # "zn", "en", "yue", "ja", "ko", "nospeech"
    use_itn=False,
    **kwargs,
)

print(res)

python test.py

初次运行的时候,会自动拉取模型文件,下一次运行就会直接加载本地模型文件。

相关推荐
weiwenhao15 分钟前
关于 nature 编程语言
人工智能·后端·开源
神经星星16 分钟前
训练成本29.4万美元,DeepSeek-R1登Nature封面,首个通过权威期刊同行评审的主流大模型获好评
人工智能
神州问学20 分钟前
【AI洞察】别再只想着“让AI听你话”,人类也需要学习“适应AI”!
人工智能
DevUI团队40 分钟前
🚀 MateChat V1.8.0 震撼发布!对话卡片可视化升级,对话体验全面进化~
前端·vue.js·人工智能
聚客AI42 分钟前
🎉7.6倍训练加速与24倍吞吐提升:两项核心技术背后的大模型推理优化全景图
人工智能·llm·掘金·日新计划
黎燃1 小时前
当 YOLO 遇见编剧:用自然语言生成技术把“目标检测”写成“目标剧情”
人工智能
算家计算1 小时前
AI教母李飞飞团队发布最新空间智能模型!一张图生成无限3D世界,元宇宙越来越近了
人工智能·资讯
掘金一周1 小时前
Flutter Riverpod 3.0 发布,大规模重构下的全新状态管理框架 | 掘金一周 9.18
前端·人工智能·后端
用户5191495848451 小时前
C#记录类型与集合的深度解析:从默认实现到自定义比较器
人工智能·aigc
IT_陈寒5 小时前
React 18实战:7个被低估的Hooks技巧让你的开发效率提升50%
前端·人工智能·后端