ai聊天流式响应，阻塞式和流式响应 nginx遇到的坑

fxshy2025-04-26 19:10

问题

现在做ai的流式请求，在开发环境使用代理访问接口，显示是正常的。上到正式环境，代理通过nginx配置可以访问到流式接口。在本地测试postman请求流式接口，返回的东西是流式返回，在正式环境里面使用postman请求流式接口是阻塞式的返回，这个是哪里出的问题导致的。

你描述的这个问题很可能是 Nginx 对流式响应（streaming response，Chunked Transfer Encoding）处理不当 导致的。

你在本地开发环境和正式环境的区别主要有两个关键点：

本地代理或直接访问时能正常返回流式响应；
正式环境通过 Nginx 代理 后，请求就变成了阻塞式，Postman 收到的是一次性返回，而不是边传输边输出。

💡问题分析

这是一个典型的 Nginx 配置或行为问题。Nginx 默认是 缓冲所有后端响应，即使后端是流式的，Nginx 会先接收完再转发，造成了你看到的阻塞现象。

复制代码

location /your-stream-api-path {
    proxy_pass http://your_backend;
    
    # 关键配置：关闭响应体缓冲
    proxy_buffering off;
    proxy_cache off;

    # 可选，适用于 SSE 或流式内容
    proxy_http_version 1.1;
    chunked_transfer_encoding on;

    # 防止连接断开
    proxy_read_timeout 3600s;
    proxy_send_timeout 3600s;
}

测试建议

修改 Nginx 配置后，重新 reload Nginx 配置文件；
用 curl 或 Postman 请求这个接口，观察返回是否开始变成流式了；
如果你用的是 SSE（Server-Sent Events），确保 Content-Type 为 text/event-stream，浏览器也能正确识别；