阿里ASR语音转文字,用JS模拟微信

主角是 SenseVoice 。阿里达摩院的多语言 ASR 模型。234MB INT8 量化版。中英日粤通吃,还能识别笑声、咳嗽、BGM。配上 PUNC 标点模型,输出带标点的中文。

1. 微信一样的demo

做了一个demo,支持浏览器/服务端调用模型。

输入支持麦克和声音文件。

2. 流程图

声音 > 提取特征 >ASR模型 > 文字 > PUNC模型 > 文字(带标点), 其实如果只是用识别语音做提示词, 可以省去PUNC模型

3. ONNX 格式

项目中所用模型均为ONNX格式, 这是通用格式, 在js下使用。

4. 核心代码 5 行

bash 复制代码
// demo/3/server.ts
import * as ort from "onnxruntime-node"
const session = await ort.InferenceSession.create("./sensevoice.onnx", {
  executionProviders: ["dml", "wasm"]
})
const out = await session.run({ x: tensor, x_length: ..., language: ..., text_norm: ... })
console.log(decodeGreedy(out["output"]))  // 打印识别结果

onnxruntime-node 是 ONNX 模型的"执行器", 微软出品可以放心使用。

dml 是 DirectML,Windows 显卡的调度员。wasm 是兜底,没显卡也能跑。

5. 原理:声音怎么变文字

6. GPU 加速

服务端用 dml(DirectML)------Windows 显卡的"调度员"。onnxruntime-node 自动调,不用自己写 CUDA。

浏览器用 WebGPU------Chrome 113+ 的"新接口",直接调显卡。

wasm 兜底------没显卡跑字节码,CPU 也能跑。三层降级:dml → wasm → cpu。不用改代码。

7. 读音频

wav 是录音的"包裹",里面是波形 + 采样率 + 声道数。16kHz 单声道是 ASR 的"标准口粮",模型只认这个。

bash 复制代码
const wav = new WaveFile(buf)  // 解码
if (wav.fmt.sampleRate !== 16000) wav.toSampleRate(16000)  // 重采样
if (wav.fmt.numChannels !== 1) wav.toMono()  // 转单声道
const audio = new Float32Array(wav.getSamples(true, Int16Array).map(s => s / 32768))  // 归一化

重采样 + 转 mono + 归一化,三步搞定。

8. 模型从哪来

| 模型 | 干什么 | 大小 | 魔搭上搜索 | | :-- | :-- | :-- | :-- | | SenseVoice | 语音转文字 | 230MB INT8 | xiaowangge/sherpa-onnx-sense-voice-small (ModelScope) | | PUNC | 加标点 | 281MB INT8 | damo/punc_ct-transformer_zh-cn-common-vad_realtime-vocab272727-onnx |

两个 ONNX都可以在魔搭网下载。

INT8 量化版:32 位浮点砍 8 位整数,体积 1/4,速度翻倍。

9. 计划

bash 复制代码
ASR => 大模型 => 克隆声音

机器人

做到这里, 我在想后面做一个声音克隆, 接上大模型, 就可以人机对话了, 你们觉得怎么样?

10. 其他模型推荐

相关推荐
Csvn11 小时前
Nginx 静态站点与 location 匹配:优先级、alias、缓存头与 gzip
后端·nginx
小满zs12 小时前
Go语言第二十章(初探Gin)
后端·go
学长毕设12 小时前
基于SpringBoot军事纪念馆管理系统设计与实现-附源码
java·spring boot·后端
小满zs12 小时前
Go语言第十九章(http标准库)
后端·go
kyriewen14 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
Karl_fang14 小时前
🥳 再也不用拿起手机抄验证码!我做了一个 Android → Mac 的「验证码接力」工具
前端·macos·ai编程
考虑考虑14 小时前
nginx拦截url
运维·后端·nginx
GISer_Jing14 小时前
GitHub热点I
后端·ai·langchain
谭光志15 小时前
如何让 AI 高效工作
前端·后端·ai编程
ServBay15 小时前
连AI自己也不愿意维护自己的屎山代码
后端·ai编程·claude