记一次SSE数据被缓存导致实时性失效问题

Hi I'm Shendi

最近在编写SSE接口遇到了缓存问题,导致实时性失效,在这里记录一下。


记一次SSE数据被缓存导致实时性失效问题


问题

环境:SpringBoot+Nginx+AnythingLLM

SSE接口调用拥有缓存,导致数据被缓存后才返回给前端。

排查

对SpringBoot接口的检查:

检查接口代码,直接使用 resp.OutputStream 或者使用 SseEmitter 皆有此问题

检查接口中对AnythingLLM调用的代码,发现使用BufferedReader.readLine,将其直接改为InputStream.read判断\n,效果的确好了一点,但依然有此问题。

编写测试代码,看是否是接口问题:

java 复制代码
@Anonymous
@GetMapping(value = "/test", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public void test(HttpServletResponse resp) throws Exception {
    resp.setContentType("text/event-stream;charset=UTF-8");
    resp.setCharacterEncoding("UTF-8");
    // 禁止压缩,防止流式被缓存
    resp.setHeader("Content-Encoding", "identity");
    resp.setHeader("Cache-Control", "no-cache");

    OutputStream output = resp.getOutputStream();

    for (int i = 0; i < 20; i++) {
        output.write(("data: " + RespCode.toResp(RespCode.PARAM_NULL) + "\n\n").getBytes());
        output.flush();
        Thread.sleep(2000);
    }
}

测试发现无问题,前端稳定的两秒收到数据(皆使用Nginx反向代理)

对 AnythingLLM的检查:

直接调用接口,发现问题复现,然后猜测是否Nginx的问题,不使用代理访问,一切正常。

解决

最终的问题就是Nginx的问题,Nginx默认会将数据进行缓存,要进行相应配置,并且SSE接口就那么几个,所以可以使用rewrite 对单独的几个接口关闭

sh 复制代码
location /llm/ {
    rewrite ^/llm/(.*)$ /api/$1 break;
    # 原有host 与 ip
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header Host $host;
    # 支持websocket
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";

    proxy_pass   http://127.0.0.1:3001;
}
location ~ ^/llm/v1/workspace/[^/]+/thread/[^/]+/stream-chat$ {
    rewrite ^/llm/(.*)$ /api/$1 break;

    proxy_pass   http://127.0.0.1:3001;

    # 关闭缓冲,确保实时转发
    proxy_buffering off;
    proxy_cache off;

    # 设置 HTTP/1.1 以保持长连接
    proxy_http_version 1.1;
    proxy_set_header Connection '';

    # 防止 gzip 压缩,避免 chunked 被打包
    gzip off;

    # 增加超时时间,避免 SSE 长连接被断开
    proxy_read_timeout 3600s;
    proxy_send_timeout 3600s;

    # 如果后端是基于 Host 做路由的,保留原 Host
    proxy_set_header Host $host;

    # 转发其他头信息
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

END

相关推荐
小王子10245 小时前
Django缓存机制详解:从配置到实战应用
redis·缓存·django·rbac
Antonio9156 小时前
【Redis】Redis 数据存储原理和结构
数据库·redis·缓存
problc7 小时前
大模型API和秘钥获取地址
数据库·redis·缓存
Rover.x8 小时前
内存泄漏问题排查
java·linux·服务器·缓存
木宇(记得热爱生活)9 小时前
Qt GUI缓存实现
开发语言·qt·缓存
Antonio91511 小时前
【Redis】 Redis 基础命令和原理
数据库·redis·缓存
daixin88481 天前
什么是缓存雪崩?缓存击穿?缓存穿透?分别如何解决?什么是缓存预热?
java·开发语言·redis·缓存
daixin88481 天前
Redis过期数据的删除策略是什么?有哪些?
数据库·redis·缓存
EmpressBoost1 天前
谷粒商城170缓存序列化报错
java·spring·缓存
幻灭行度1 天前
通过redis_exporter监控redis cluster
数据库·redis·缓存