记一次SSE数据被缓存导致实时性失效问题

Hi I'm Shendi

最近在编写SSE接口遇到了缓存问题,导致实时性失效,在这里记录一下。


记一次SSE数据被缓存导致实时性失效问题


问题

环境:SpringBoot+Nginx+AnythingLLM

SSE接口调用拥有缓存,导致数据被缓存后才返回给前端。

排查

对SpringBoot接口的检查:

检查接口代码,直接使用 resp.OutputStream 或者使用 SseEmitter 皆有此问题

检查接口中对AnythingLLM调用的代码,发现使用BufferedReader.readLine,将其直接改为InputStream.read判断\n,效果的确好了一点,但依然有此问题。

编写测试代码,看是否是接口问题:

java 复制代码
@Anonymous
@GetMapping(value = "/test", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public void test(HttpServletResponse resp) throws Exception {
    resp.setContentType("text/event-stream;charset=UTF-8");
    resp.setCharacterEncoding("UTF-8");
    // 禁止压缩,防止流式被缓存
    resp.setHeader("Content-Encoding", "identity");
    resp.setHeader("Cache-Control", "no-cache");

    OutputStream output = resp.getOutputStream();

    for (int i = 0; i < 20; i++) {
        output.write(("data: " + RespCode.toResp(RespCode.PARAM_NULL) + "\n\n").getBytes());
        output.flush();
        Thread.sleep(2000);
    }
}

测试发现无问题,前端稳定的两秒收到数据(皆使用Nginx反向代理)

对 AnythingLLM的检查:

直接调用接口,发现问题复现,然后猜测是否Nginx的问题,不使用代理访问,一切正常。

解决

最终的问题就是Nginx的问题,Nginx默认会将数据进行缓存,要进行相应配置,并且SSE接口就那么几个,所以可以使用rewrite 对单独的几个接口关闭

sh 复制代码
location /llm/ {
    rewrite ^/llm/(.*)$ /api/$1 break;
    # 原有host 与 ip
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    # 支持websocket
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";

    proxy_pass   http://127.0.0.1:3001;
}
location ~ ^/llm/v1/workspace/[^/]+/thread/[^/]+/stream-chat$ {
    rewrite ^/llm/(.*)$ /api/$1 break;

    proxy_pass   http://127.0.0.1:3001;

    # 关闭缓冲,确保实时转发
    proxy_buffering off;
    proxy_cache off;

    # 设置 HTTP/1.1 以保持长连接
    proxy_http_version 1.1;
    proxy_set_header Connection '';

    # 防止 gzip 压缩,避免 chunked 被打包
    gzip off;

    # 增加超时时间,避免 SSE 长连接被断开
    proxy_read_timeout 3600s;
    proxy_send_timeout 3600s;

    # 如果后端是基于 Host 做路由的,保留原 Host
    proxy_set_header Host $host;

    # 转发其他头信息
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

END

相关推荐
CodeWithMe8 小时前
【Note】《深入理解Linux内核》 Chapter 15 :深入理解 Linux 页缓存
linux·spring·缓存
大春儿的试验田10 小时前
高并发收藏功能设计:Redis异步同步与定时补偿机制详解
java·数据库·redis·学习·缓存
likeGhee10 小时前
python缓存装饰器实现方案
开发语言·python·缓存
C1829818257510 小时前
OOM电商系统订单缓存泄漏,这是泄漏还是溢出
java·spring·缓存
西岭千秋雪_13 小时前
Redis性能优化
数据库·redis·笔记·学习·缓存·性能优化
en-route14 小时前
HTTP 缓存
网络协议·http·缓存
苦夏木禾1 天前
js请求避免缓存的三种方式
开发语言·javascript·缓存
重庆小透明1 天前
力扣刷题记录【1】146.LRU缓存
java·后端·学习·算法·leetcode·缓存
Java初学者小白1 天前
秋招Day14 - Redis - 应用
java·数据库·redis·缓存
奈斯ing1 天前
【Redis篇】数据库架构演进中Redis缓存的技术必然性—高并发场景下穿透、击穿、雪崩的体系化解决方案
运维·redis·缓存·数据库架构