Solon AI 开发学习6 - chat - 两种 http 流式输入输出

http 流式输出(主要是指文本流式输出),需要使用响应式接口和支持流输出的 mime 声明。常见的有两种文本流式输出:

1、输出 sse(Server Sent Event)

输出的格式:以 sse 消息块为单位,以"空行"为识别间隔。

示例代码:

java 复制代码
import org.noear.solon.annotation.Mapping;
import org.noear.solon.annotation.Produces;
import org.noear.solon.core.util.MimeType;
import org.noear.solon.web.sse.SseEvent;
import reactor.core.publisher.Flux;

import java.io.IOException;

@Produces(MimeType.TEXT_EVENT_STREAM_UTF8_VALUE)
@Mapping("case1")
public Flux<SseEvent> case1(String prompt) throws IOException {
    return Flux.from(chatModel.prompt(prompt).stream())
            .filter(resp -> resp.hasContent())
            .map(resp -> new SseEvent().data(resp.getContent()));
}

输出效果如下(sse 消息块有多个属性,data 为必选,其它为可选):

复制代码
data:{"role":"ASSISTANT","content":"xxx"}

data:{"role":"ASSISTANT","content":"yyy"}

2、输出 ndjosn(Newline-Delimited JSON)

输出的格式:以 json 消息块为单位,以"换行符"为识别间隔。

java 复制代码
import org.noear.solon.ai.chat.message.AssistantMessage;
import org.noear.solon.annotation.Mapping;
import org.noear.solon.annotation.Produces;
import org.noear.solon.core.util.MimeType;
import reactor.core.publisher.Flux;

import java.io.IOException;

@Produces(MimeType.APPLICATION_X_NDJSON_UTF8_VALUE)
@Mapping("case2")
public Flux<AssistantMessage> case2(String prompt) throws IOException {
    return Flux.from(chatModel.prompt(prompt).stream())
            .map(resp -> resp.getMessage());
}

输出效果如下:

复制代码
{"role":"ASSISTANT","content":"xxx"}
{"role":"ASSISTANT","content":"yyy"}

3、获取

上面讲的是作为 server 以流式输出。solon-net-httputils 则提供了,作为客户端接收流式获取(或接收)的能力:

  • 使用 HttpUtils 获取文本行流(比如 ndjosn)
java 复制代码
Publisher<String> publisher = HttpUtils.http("http://localhost:8080/stream")
                .execAsLineStream("GET");
  • 使用 HttpUtils 获取 ServerSentEvnet (简称:sse)文本流
java 复制代码
Publisher<ServerSentEvent> publisher = HttpUtils.http("http://localhost:8080/sse")
                .execAsSseStream("GET");
相关推荐
金銀銅鐵2 小时前
用 Swing 重做操作数栈演示
java·jvm·后端
琳少_2 小时前
java程序开发笔记
java·开发语言·数据库·笔记
七夜zippoe3 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
叼烟扛炮4 小时前
[LangChain] 学习笔记(15):为什么你的重试没用——429、抖动、fallback 与熔断
java·服务器·前端
文丑颜不良啊5 小时前
LeetCode3401~3420题目解析
java·leetcode
文丑颜不良啊6 小时前
LeetCode3421~3440题目解析
java·leetcode
code2cat7 小时前
【随笔】Java客户端选了HTTP/3,怎样知道请求实际走了哪个版本
java·开发语言·http
wflynn8 小时前
AI 产品 ChatPRD 遭遇 token 欺诈,滥用者用免费试用构建游戏地图
ai·技术
码云社区9 小时前
Java在线租房系统源码:VR看房素材、房源图片与内容维护方案
java·vue.js·vr·租房小程序·在线租房·看房租房
码云社区9 小时前
Spring Boot智慧物业系统源码:合同到期提醒、续签资料与资产协作
java·spring boot·后端·物业管理·物业系统·智慧物业