springboot2.x使用SSE方式代理或者转发其他流式接口

文章目录

1.需求描述

使用SSE的方式主要还是要跟前端建立一个EventSource的链接,有了这个连接,然后往通道里写入数据流,前端自然会拿到流式数据,写啥拿啥,后端这个对象叫做SseEmitter.

2.代码

2.1.示例controller

java 复制代码
@Slf4j
@RestController
@RequestMapping("/proxy")
public class StreamForwardingController {

    @Autowired
    private ModelService modelService;

    @GetMapping("/sse/reply")
    public SseEmitter sseReply(@RequestBody JSONObject req) {
        try {
            return modelService.call(req);
        } catch (IOException e) {
            log.error("SSE接口异常:{}", e.getMessage());
            return new SseEmitter();
        }
    }
}

2.2.示例service

java 复制代码
public interface ModelService {

    SseEmitter call(JSONObject param) throws IOException;

}

2.3.示例impl

java 复制代码
@Service
@Slf4j
public class ModelServiceImpl implements ModelService {

	/*
	  其实可以自己组装SSE流式数据给前端(参考上篇文章)
	  也可以调用别的流式接口,拿到流数据给前端(下面是这种方式)
	*/
    @Override
    public SseEmitter call(JSONObject param) throws IOException {
        log.info("[SSE]开始调用大模型...");
        log.info("[SSE]请求参数:{}",param.toString());
        
        // 这里是自己的一些参数定义
        String id = RandomUtil.randomString(32);
        String xxx = param.getString("xxx");
        String yyy = param.getString("yyy");

        // 根据过期时间创建SSE对象
        SseEmitter sseEmitter = new SseEmitter(0L);

        // 预处理
        if(StringUtils.isEmpty(xxx) || StringUtils.isEmpty(yyy)){
            log.error("[SSE]请求参数为空");
            sseEmitter.send("error: 请求参数为空");//这里可以不这么做,将报错信息可以发出去
            sseEmitter.complete();//发完有个结束的标识,目的是为了结束连接
            return sseEmitter;
        }

        //组装流式接口请求对象 这里是请求别人家的流式接口的
        JSONObject req = new JSONObject();
        String targetUrl = "http://xxx/x/x/xxx/x/x/x";
        log.info("[SSE]流式接口:{}", targetUrl);
        log.info("[SSE]请求报文:{}", req);

        HttpRequest request = HttpRequest.post(targetUrl)
                .header("Content-Type", ContentType.JSON.toString())
                .body(JSONUtil.toJsonStr(req))
                .timeout(10000);

        // 使用异步请求获取实时数据
        HttpResponse response = request.executeAsync();
        log.info("[SSE]模型状态码:{}", response.getStatus());
        if(response.getStatus() != HttpStatus.HTTP_OK) {
            log.error("[SSE]模型接口异常:{}",response.body());
        }

        //使用新的线程处理响应结果,如果是自己想弄个流式数据给前端返回,也是这个原理
        //循环往sse对象里send就完事了
        new Thread(()->{
            try (BufferedReader reader = new BufferedReader(
            							 new InputStreamReader(
            							 new BufferedInputStream(
            							 response.bodyStream())))) 
            {
                String line;
                while ((line = reader.readLine()) != null) {
                    //System.out.println("line="+line);
                    if(StringUtils.isNotEmpty(line)) sseEmitter.send(line);
                    //else System.out.println("空行");
                }
                log.info("[SSE]模型接口解析完毕.");
                sseEmitter.complete();
            }catch (Exception e){
                log.error("[SSE]模型接口异常:{}", e.getMessage());
            }
        }).start();
        return sseEmitter;//最后记得把sse对象返回给前端
    }
}

3.测试

使用Postman测试即可,没啥特殊配置。

相关推荐
火云代理4 天前
同一个网站,有的网络能打开、有的打不开?认识 IPv4 与 IPv6 的访问差异
服务器·网络·网络协议·tcp/ip·测试工具·php·状态模式
FungLeo6 天前
成为全栈·Vue 管理后台篇·分页只显示第一页:从接口total 定位到前端修复
前端·vue.js·状态模式·分页·naive ui·服务端分页·前端问题排查
严肃小白兔8 天前
TanStack Router 更新构建工具链:Node.js 兼容性、路由分割与前端工程实践
前端·node.js·状态模式
大江东去浪淘尽千古风流人物17 天前
【HexVIO】DSP卸载双目惯性VIO:Hexagon向量化前端与单帧融合调度深度解析
前端·状态模式·slam·dsp·vio·hexagon·移动端加速
吃一碗粉只付一碗钱18 天前
12-给SPA友好的401和403响应
c#·状态模式
sunlifenger18 天前
嵌入式部署,解锁张家港智慧灯杆的“极简组网”密码
科技·状态模式
上火的金鱼妹19 天前
关于多进程sse连接通知的实战
javascript·状态模式·sse
阿俊-全栈开发19 天前
LikeShop 小程序商城首页可配置弹窗的设计与实现(Java + uni-app)
小程序·状态模式·likeshop·likeshop开源商城
lingyubb20 天前
配音工具怎么选?从 TTS 合成链路看 6 个可量化参数
状态模式