四川话ASR-微调-语音识别-Paraformer-Large

四川话语音识别模型 - Paraformer微调版

📖 模型介绍

本项目基于阿里巴巴达摩院的 iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch 预训练模型,使用220小时的高质量四川话数据进行微调,专门针对四川方言语音识别任务进行优化。

🎯 性能提升

模型版本 CER (字符错误率) 改进幅度
原始模型 9.703% -
微调模型 5.998% 38.19% ⬇️

🎯 转写结果对比

📦 模型格式

模型权重提供以下格式:

  • PyTorch格式 (.pt) - 适用于训练和高精度推理
  • ONNX格式 (.onnx) - 适用于跨平台部署
  • 量化ONNX格式 (quant_onnx) - 适用于资源受限环境

🔧 技术特点

  • 基础架构: Paraformer (Non-autoregressive Transformer)
  • 训练数据: 220小时高质量四川话语音数据
  • 采样率: 16kHz
  • 词汇表大小: 8404
  • 语言: 中文(四川方言)

📊 模型训练

训练过程可视化

以下图表展示了模型在训练过程中的性能变化:

点击这里查看
训练损失随epoch变化趋势


🚀 模型推理

PyTorch推理

使用FunASR框架进行PyTorch模型推理:

python 复制代码
from funasr import AutoModel
import os

# 加载微调后的模型
model = AutoModel(model="/path/to/finetuned_model_best")

# 单个音频文件推理
audio_path = "your_audio_file.wav"
result = model.generate(input=audio_path)
print(result)

# 批量推理
audio_list = ["audio1.wav", "audio2.wav", "audio3.wav"]
results = model.generate(input=audio_list)
for i, res in enumerate(results):
    print(f"音频 {i+1}: {res}")

ONNX推理

使用FunASR-ONNX进行高效推理:

python 复制代码
# 安装依赖
# pip3 install -U funasr-onnx

from funasr_onnx import Paraformer
import time

# 加载ONNX模型
model_dir = "/path/to/finetuned_model_best"
model = Paraformer(model_dir, batch_size=1, quantize=False)

# 推理
wav_path = ['your_audio_file.wav']
start_time = time.time()
result = model(wav_path)
end_time = time.time()

print(f"识别结果: {result}")
print(f"推理耗时: {end_time - start_time:.3f} 秒")

量化模型推理

使用量化ONNX模型进行更快速的推理:

python 复制代码
from funasr_onnx import Paraformer

# 启用量化推理
model = Paraformer(model_dir, batch_size=1, quantize=True)
result = model(wav_path)
print(f"识别结果: {result}")

📈 训练前后识别效果对比

详细的识别效果对比数据请参见模型文件中的 val_comparison_best.xlsx,包含:

  • 测试集样本的原始标注
  • 原始模型识别结果
  • 微调模型识别结果
  • 字符错误率(CER)对比

主要改进点

  1. 方言词汇识别: 四川话特有词汇识别准确率显著提升
  2. 语音韵律: 更好地适应四川话的语音特点
  3. 噪声鲁棒性: 在有背景噪声的环境下表现更稳定
  4. 长语音处理: 对较长语音片段的识别连贯性改善

🤝 合作联系

数据与模型获取

如果您需要以下资源,欢迎联系我们:

  • 🎵 四川话训练数据集 (220小时高质量标注数据)
  • 🔥 完整的微调模型权重 (所有的模型文件)
  • 📚 技术支持与定制化服务
  • 🛠️ 模型部署与优化方案

联系方式 : 点击这里联系我们

🙏 致谢

  • 感谢阿里巴巴达摩院提供的FunASR框架和Paraformer预训练模型
相关推荐
RAG专家1 小时前
【Mixture-of-RAG】将文本和表格与大型语言模型相结合
人工智能·语言模型·rag·检索增强生成
星期天要睡觉4 小时前
自然语言处理(NLP)——自然语言处理原理、发展历程、核心技术
人工智能·自然语言处理
低音钢琴4 小时前
【人工智能系列:机器学习学习和进阶01】机器学习初学者指南:理解核心算法与应用
人工智能·算法·机器学习
大千AI助手5 小时前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
新知图书5 小时前
大模型微调定义与分类
人工智能·大模型应用开发·大模型应用
深思慎考5 小时前
调用百度云语音识别服务——实现c++接口识别语音
c++·语音识别·百度云
山烛5 小时前
一文读懂YOLOv4:目标检测领域的技术融合与性能突破
人工智能·yolo·目标检测·计算机视觉·yolov4
大千AI助手5 小时前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码
钱彬 (Qian Bin)6 小时前
项目实践4—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi
钱彬 (Qian Bin)6 小时前
项目实践3—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi