首包优化 - 首包优化技术,学习,经验文章

thesky123456

1 小时前

27届大模型面试准备（七十二）：大模型流式推理服务与长连接工程——SSE、背压与首包优化引言前面几篇把"怎么把请求调度到卡上、怎么把卡喂满"讲透了。本篇聊用户真正感知到的那一端：流式输出（打字机效果）。用户问一个问题，前端要能在 200ms 内看到第一个字，然后稳定地一个 token 一个 token 蹦出来，断网还能续上。这背后是 SSE/WebSocket 长连接、服务端背压、首包（TTFT）优化、断点续传一整套工程。也是华为云大模型 API 岗、对话产品后端岗必问。