FunAudioLLM:用语音大模型解锁智能语音交互的无限可能

摘要

随着人工智能技术的飞速发展,语音处理已成为人机交互的核心领域之一。本文将介绍 FunAudioLLM 模型家族中的两个重要成员:SenseVoiceSmall 和 CosyVoice2-0.5B,探讨它们在语音识别、语音合成和情感分析中的应用,并提供实用的部署指南。

引言

FunAudioLLM 模型家族简介FunAudioLLM 是阿里巴巴通义实验室推出的开源语音大模型框架,旨在通过语音理解和生成技术增强人机自然交互。其中,SenseVoiceSmall 和 CosyVoice2-0.5B 是两个核心模型,分别专注于语音识别和语音合成。

  1. SenseVoiceSmall 的功能与特点• 多语言语音识别 SenseVoiceSmall 支持超过 50 种语言,经过超过 40 万小时的数据训练,识别性能优于传统模型(如 Whisper)。• 低延迟推理:采用非自回归端到端架构,10 秒音频的推理仅需 70 毫秒,速度是 Whisper-Large 的 15 倍。• 情感识别:能够检测语音中的情感和常见音频事件(如掌声、笑声、咳嗽等)。• 便捷的微调与部署 提供微调脚本和多语言客户端支持(Python、C++、Java 等),方便开发者根据业务需求进行定制。
  2. CosyVoice2-0.5B 的功能与特点• 轻量高效 参数量仅为 0.5B,体积小,计算资源消耗低,适合在资源受限的设备上运行。• 自然语音合成 支持多语言、音色、说话风格和说话者身份的自然语音生成,合成语音接近真人发音。• 零样本学习与情感语音生成 能够在没有上下文的情况下生成情感丰富的语音,适用于有声书、语音助手等场景。

技术架构

深度学习技术 FunAudioLLM 采用了 Transformer 模型、语音量化编码技术和流匹配技术,显著提升了语音处理的性能。• 数据驱动的优化 模型训练依赖大量标注数据,包括语音、文本和情感标签,以提高识别准确性和语音合成的自然度。

API调用

使用硅基流动的api进行调用官网如下:

包含很多相关模型以及详细的API使用说明。、

相关链接为硅基官网

完成注册后会送2000万token的算力,注册完后需要申请APIkey作为调用API的入口参数。

语音识别的api为SenseVoiceSmall,使用免费

具体调用例子为

python 复制代码
import requests

url = "https://api.siliconflow.cn/v1/audio/transcriptions"

payload = "-----011000010111000001101001\r\nContent-Disposition: form-data; name=\"model\"\r\n\r\nFunAudioLLM/SenseVoiceSmall\r\n-----011000010111000001101001--\r\n\r\n"
headers = {
    "Authorization": "Bearer apikey",
    "Content-Type": "multipart/form-data"
}

response = requests.request("POST", url, data=payload, headers=headers)

print(response.text)

硅基流动也可在网页中进行调用,点击send会模拟行为。

相关例子可见

不过需要进行长语音的翻译需要的话需要对脚本进行处理,比如将语音进行分割,然后一段段进行翻译后再拼接起来。

具体代码可见
代码仓库

文本转语音

目前文本转语音使用的是CosyVoice2-0.5B,硅基流动的价格为

¥50/ M UTF-8 bytes

MB与字节的换算:1MB(兆字节)等于1024KB(千字节),而1KB等于1024字节。因此,1MB等于1024 * 1024 = 1048576字节。2. UTF-8编码下汉字的表示:在UTF-8编码中,一个汉字通常用3个字节表示。3. 计算过程:• 1048576字节 ÷ 3 = 349525...1。• 这意味着1MB最多可以表示349525个汉字,还剩下1个字节,这1个字节不足以表示一个完整的汉字。所以,1MB在UTF-8编码下最多可以表示349525个汉字。

即如果1MB的费用是50元,那么每个汉字的成本大约是0.000143元,或者可以更直观地说,每1000个汉字的成本约为0.143元。还是比较便宜的。

调用脚本为

python 复制代码
from pathlib import Path
from openai import OpenAI

speech_file_path = Path(__file__).parent / "siliconcloud-generated-speech.mp3"

client = OpenAI(
    api_key="apikey", # 从 https://cloud.siliconflow.cn/account/ak 获取
    base_url="https://api.siliconflow.cn/v1"
)

with client.audio.speech.with_streaming_response.create(
  model="FunAudioLLM/CosyVoice2-0.5B", # 支持 fishaudio / GPT-SoVITS / CosyVoice2-0.5B 系列模型
  voice="FunAudioLLM/CosyVoice2-0.5B:alex", # 系统预置音色
  # 用户输入信息
  input="你能用高兴的情感说吗?<|endofprompt|>今天真是太开心了,马上要放假了!I'm so happy, Spring Festival is coming!",
  response_format="mp3" # 支持 mp3, wav, pcm, opus 格式
) as response:
    response.stream_to_file(speech_file_path)
相关推荐
Larry_Yanan9 小时前
QML学习笔记(四十四)QML与C++交互:对QML对象设置objectName
开发语言·c++·笔记·qt·学习·ui·交互
Larry_Yanan13 小时前
QML学习笔记(四十五)QML与C++交互:信号槽的双向实现
c++·笔记·qt·学习·ui·交互
EQ-雪梨蛋花汤1 天前
【Part 4 未来趋势与技术展望】第二节|多模态交互体验:手势、语音与眼动控制的集成应用
交互
猫林老师2 天前
HarmonyOS分布式硬件共享:调用手机摄像头的手表应用
华为·交互·harmonyos
Larry_Yanan4 天前
QML学习笔记(四十三)QML与C++交互:上下文属性暴露
c++·笔记·qt·学习·ui·交互
top_designer4 天前
告别“静态”VI手册:InDesign与AE打造可交互的动态品牌规范
设计模式·pdf·交互·vi·工作流·after effects·indesign
嵌入式学习和实践4 天前
C# WinForms 多窗口交互通信的示例-主窗口子窗口交互通信
c#·交互·主窗口-子窗口通信
梵得儿SHI5 天前
Prompt Engineering 核心知识:从基础模式到思维链,掌握大模型高效交互秘籍
大模型·prompt·交互·提示词·对话·大模型提问艺术·极简指令
IT小哥哥呀5 天前
工业互联与设备IOT助力生产制造实践分享
物联网·交互·制造·简单工厂模式
jjjxxxhhh1235 天前
【项目-】Qt + QCustomPlot 实现频谱监测仪:四图联动、高频信号注入、鼠标交互全解析
开发语言·qt·交互