否
是
聊天页发送语音
FileTransferSendPipeline.sendFile(...)
Voice Model 是否开启
raw 原始字节流直传
AudioProcessor.buildVoiceTransferData(audioPath)
readWaveFile(): 读取 PCM WAV
resampleLinear(): 重采样到 24kHz
extractMelSpectrogram(): 提取 100-bin log-Mel
按 100 帧一块切 patch
组装输入张量 [patchCount,1,100,100]
voice encoder 前向推理
得到 encoded floatData + shape
写 TCP 头: fileName!fileSize!senderId!VOICE!model
写 body: shapeLength + shape + totalOriginalLength + frameInfos + floatData
发送完成后发 UDP 文本通知 IPMSG_SENDMSG
接收端 FileTransferReceivePipeline
读 TCP 头并判断 mode=model
读 body: shape + totalOriginalLength + frameInfos + floatData
voice decoder 前向推理
得到解码后的频谱 patch
AudioProcessor.reconstructSpectrogram(...)
重建完整频谱 [time, mel]
保存 .wav.specbin 调试文件
toVocosInput(): 转成 [1, melBins, time]
audio decoder/vocos 前向推理
得到 24kHz 浮点波形
writeFloatWav(..., 24000)
落盘成 .wav
更新聊天消息路径/状态
刷新聊天页与最近会话
发送语音流程图
oyezitan2026-03-31 14:33
相关推荐
数说星榆1813 小时前
电脑流程图模板精选 中文适配一键修改超方便十年一梦实验室9 小时前
【Gemini+Claude】根据(先进战机)系统描述创建系统软硬件架构图 & 爆炸图 & 多线程飞控系统逻辑流程图+六代机架构设计理念深度解析檐下翻书1734 天前
音乐产业版权管理与运营流程图表制作方法陌上阳光4 天前
代码绘制流程图兰.lan5 天前
【黑马ai测试】判定表+流程图+ai生成测试用例dajun18112345610 天前
轻微交通事故处理流程图 现场快速取证步骤静听松涛13310 天前
远程视频会议组织全流程步骤 在线画图工具绘制会议流程图表教程檐下翻书17317 天前
公司组织架构调整工具 在线可视化编辑平台