平时用各种 AI 工具，你有没有好奇过，回答为什么总是一个字一个字往外蹦，而不是完整地发出来出来？......这事儿看着像打字机小把戏，背后其实是一整套关于延迟和容错的设计。
大模型问答界面里那种一个字一个字往外跳的回复，靠的是流式输出。模型本来就是按 token 一个接一个生成的，流式只是把每个刚算出来的 token 立刻发到前端，不再等整段写完再一次性甩给你。你看到的不只是打字机效果，而是一整套关于延迟、中断和容错的设计。
流式输出到底是什么
传统接口的处理方法是，你发请求，服务器在后台把活干完，最后把完整结果一次性返回。这期间你对着的是静止的页面，直到终点才看到内容。流式输出把这条链路拆开了，服务器每产生一小块数据，就立刻通过 HTTP 的分块传输或者长连接推到浏览器，前端收到一点渲染一点。
这里得拆成两件事看。模型侧天然就是逐 token 的，这是算法本身决定的，跟流式没什么关系。传输侧才把这种边算边给的特性搬到了网络上。流式的价值在传输侧，它重新安排了你和系统的等待关系，让你不用干等。
模型为什么能边想边说
现在主流的大语言模型走的是自回归生成。准确点讲，是模型根据上文去猜下一个最可能出现的 token，把这个 token 拼回上下文，再猜下一个，如此循环直到碰到结束符。每个 token 的生成是串行独立的，前面的没出来，后面的就排不上。
token 不是字，是模型分词之后的最小单位。中文里一个 token 可能对应一个字，也可能卡在半个词上，英文常常是一个词根带着前后缀。这个细节挺关键，它决定了流式显示的单位有时候是半个词，前端得做拼接。也正因为它串行生成，流式传输几乎零额外成本，服务端不用等，算出来就发，多出来的延迟只来自网络那一跳。
首字延迟才是体验的分水岭
一段几百字的回答，模型全生成完可能需要较长时间。要是等全部算完才显示，用户对着空白页干等，可能觉得程序卡死了。流式把首字延迟（TTFT，time to first token）可缩短至较低水平，你刚点完发送就看见第一个字往外冒，心里就踏实了。
人感受到的快慢，和实际耗时不总是一回事。边出边看的时候，你会跟着内容往前走，注意力被内容占住了，同样三十秒的回答，流式的体感通常比一次性弹出更轻快。顺带，流式天然支持中途打断，你发现方向不对，随时能把请求掐了重来。
真实系统里流式是怎么落地的
落到工程上，流式远不止加个打字机动画。我列几种常见的落地形态。
知识问答这类 RAG 场景，流程是先检索再生成。检索和生成可能需要一定时间。做成流式的话，检索阶段可以先推一条"正在查资料"，等向量库返回了再开始吐答案，用户全程知道系统在忙什么，不会怀疑它挂了。
写代码的助手更典型。模型一行一行往外蹦，你边看边判断它对不对，发现 import 写错了直接打断重问，比等它闷头写完整段再删省事。
Agent 跑长任务时，流式还能回传进度。一个工作流串了好几个节点，从文件下载到解析、摘要，再到发邮件，每个节点状态变化推一条消息，前端就能做个进度条或者步骤列表，相比传统加载方式体验更好。
前端这边有实际坑。模型吐 token 的速度常常比屏幕渲染快，得加缓冲和节流，不然内存堆着。还有 Markdown 是流式到达的，半截的标题或者没闭合的代码块会让页面渲染崩，要做容错，等结构完整了再高亮。
几个小误区
第一个坑，觉得流式只是体验优化，跟架构无关。其实它直接改了超时和中断的设计。这条流式连接可能维持较长时间，中间的网关、负载均衡、反向代理的超时参数通常需要重新配置，否则连接可能被提前中断，用户看到回答可能中断。
第二个坑，以为开了流式就不用管错误。模型生成到一半可能崩，下游工具调用也可能失败。这些都得兜底，要么回一段友好提示，要么把已生成的部分留着，不能让前端干在那儿转。
第三个坑，SSE 和 WebSocket 随便挑。SSE 是单向的，服务器往浏览器推，基于普通 HTTP，自带断线重连，写起来省事，聊天问答基本够用。WebSocket 是双向全双工长连接，前端也要频繁发消息的场景才需要。选错了可能增加不必要的开发工作。
还有背压。前端渲染跟不上生成速度时，服务端不能无脑猛发，得有机制缓一缓，不然服务端内存先爆。
小艾智能体的知识问答接口可支持 /chat/stream 做流式交互，前端可一边收一边显示，问答通常无需等整段生成完。Agent 跑长流程的时候，节点状态可逐步回传，你在界面上可查看任务走到哪一步。
技术上它可基于 FastAPI 的 StreamingResponse 实现这个能力，底层可接入 Milvus 进行向量检索、接入 Neo4j 构建知识图谱，检索增强这一层可先将企业文档里的知识点检索出来，再交由大模型生成，有助于减少幻觉问题。部署上 Nginx 做入口负载均衡，Python Agent 服务当执行引擎，长连接和异步消息靠 RabbitMQ 兜着，这套结构对流式还算友好。