发送语音流程图

oyezitan2026-03-31 14:33

否
是
聊天页发送语音
FileTransferSendPipeline.sendFile(...)
Voice Model 是否开启
raw 原始字节流直传
AudioProcessor.buildVoiceTransferData(audioPath)
readWaveFile(): 读取 PCM WAV
resampleLinear(): 重采样到 24kHz
extractMelSpectrogram(): 提取 100-bin log-Mel
按 100 帧一块切 patch
组装输入张量 $patchCount,1,100,100$
voice encoder 前向推理
得到 encoded floatData + shape
写 TCP 头: fileName!fileSize!senderId!VOICE!model
写 body: shapeLength + shape + totalOriginalLength + frameInfos + floatData
发送完成后发 UDP 文本通知 IPMSG_SENDMSG
接收端 FileTransferReceivePipeline
读 TCP 头并判断 mode=model
读 body: shape + totalOriginalLength + frameInfos + floatData
voice decoder 前向推理
得到解码后的频谱 patch
AudioProcessor.reconstructSpectrogram(...)
重建完整频谱 $time, mel$
保存 .wav.specbin 调试文件
toVocosInput(): 转成 $1, melBins, time$
audio decoder/vocos 前向推理
得到 24kHz 浮点波形
writeFloatWav(..., 24000)
落盘成 .wav
更新聊天消息路径/状态
刷新聊天页与最近会话