技术栈
流式推理
I Am a robert girl
3 天前
python
·
多模态
·
扩散模型
·
世界模型
·
自回归
·
空间音频
·
流式推理
HelixWorld 源码剖析：当世界模型第一次“开口说话”
从今天觉醒,技术赋予每一个人数字生命过去两年，交互式世界模型（Interactive World Model）的进展几乎全部集中在视觉侧：给定一张图、一段文字或一条 6-DoF 相机轨迹，模型就能实时渲染出可漫游的 3D 场景。Genie、GameNGen、以及后续一系列流式视频扩散模型，把"可玩性"和"响应速度"推到了 24 FPS 的量级。
thesky123456
1 个月前
大模型
·
sse
·
长连接
·
背压
·
流式推理
·
首包优化
·
ttft
27届大模型面试准备（七十二）：大模型流式推理服务与长连接工程——SSE、背压与首包优化
引言前面几篇把"怎么把请求调度到卡上、怎么把卡喂满"讲透了。本篇聊用户真正感知到的那一端：流式输出（打字机效果）。用户问一个问题，前端要能在 200ms 内看到第一个字，然后稳定地一个 token 一个 token 蹦出来，断网还能续上。这背后是 SSE/WebSocket 长连接、服务端背压、首包（TTFT）优化、断点续传一整套工程。也是华为云大模型 API 岗、对话产品后端岗必问。
我是有底线的