流式响应

爬山虎还上班1 年前
websocket·星火·流式响应
websocket请求通过IteratorAggregate实现流式输出对接国内讯飞星火模型，官方文档接口采用的是websocket跟国外chatgpt有些差异。虽然官网给出一个简单demo通过while(true)，websocket的receive()可以实现逐条接受并输出给前端，但是通用和灵活度不高。不能兼容现有项目框架的流式输出。故模仿openai，采用IteratorAggregate接口实现迭代器可遍历获取响应结果。