发送语音流程图

否
是
聊天页发送语音
FileTransferSendPipeline.sendFile(...)
Voice Model 是否开启
raw 原始字节流直传
AudioProcessor.buildVoiceTransferData(audioPath)
readWaveFile(): 读取 PCM WAV
resampleLinear(): 重采样到 24kHz
extractMelSpectrogram(): 提取 100-bin log-Mel
按 100 帧一块切 patch
组装输入张量 patchCount,1,100,100
voice encoder 前向推理
得到 encoded floatData + shape
写 TCP 头: fileName!fileSize!senderId!VOICE!model
写 body: shapeLength + shape + totalOriginalLength + frameInfos + floatData
发送完成后发 UDP 文本通知 IPMSG_SENDMSG
接收端 FileTransferReceivePipeline
读 TCP 头并判断 mode=model
读 body: shape + totalOriginalLength + frameInfos + floatData
voice decoder 前向推理
得到解码后的频谱 patch
AudioProcessor.reconstructSpectrogram(...)
重建完整频谱 time, mel
保存 .wav.specbin 调试文件
toVocosInput(): 转成 1, melBins, time
audio decoder/vocos 前向推理
得到 24kHz 浮点波形
writeFloatWav(..., 24000)
落盘成 .wav
更新聊天消息路径/状态
刷新聊天页与最近会话

相关推荐
斯普信专业组14 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图
学IT的周星星19 天前
LangGraph:用「流程图」的方式编排 Agent
数据库·人工智能·大模型·llm·流程图·agent
钛生智能20 天前
OA 流程定制全参数详解(十):画流程图与美化——从“能跑”到“好看”的最后一公里
流程图·办公自动化·oa·协同办公·oa办公系统
ixiaoyang823 天前
ioDraw v3.7.0 发布:AI 助手完成会话化改造,图表生成一次升级
ai·流程图·甘特图·思维导图·绘图软件·1024程序员节·mermaid
神色自若24 天前
Net10 Avalonia UI漂亮美观的流程图设计器重磅开源了
流程图
Keith Guo24 天前
ESP32-S31 分区表的访问流程图
流程图·esp32
学术 学术 Fun1 个月前
AI 流程图图片怎样变成可编辑文件?先修文字,再核对逻辑
流程图
学术 学术 Fun1 个月前
截图转可编辑 PPT:旧流程图改步骤,不再靠白色方块遮字
powerpoint·流程图
tedcloud1231 个月前
Docker Compose 部署 Immich:手机照片自动备份与常见故障排查
运维·前端·docker·容器·智能手机·开源·流程图
weixin_416660071 个月前
AI 生成的 Mermaid 流程图和 LaTeX 公式,怎么一起导出到 Word?
人工智能·word·流程图·豆包