Http流式响应接口封装

1. 背景

需要对接某个大模型的流式http对话接口,因为该项目中还需要对接另外的大模型服务但是另一个请求方式为websocket,为了实现模型服务切换以及对客户端做统一的流式响应,需要对大模型服务的调用做统一的流式响应封装。

环境:JDK11

2. 代码

2.1 回调函数

java 复制代码
@FunctionalInterface
public interface LLMChatCallback {

    void callback(String message);

}

2.2 统一对话接口

java 复制代码
public interface LLMService {

    /**
     * 模型对话
     *
     * @param payload 用于请求大模型的参数
     * @param callback 响应回调 调用者通过实现callback函数接收消息
     **/
    void dialogue(String payload, LLMChatCallback callback);

}

2.3 StringSubscriber

java 复制代码
import lombok.extern.slf4j.Slf4j;
import java.util.concurrent.Flow;

/**
 * http响应式流订阅
 **/
@Slf4j
public class StringSubscriber implements Flow.Subscriber<String> {

    Flow.Subscription subscription;

    /**
     * 消息回调接口
     */
    private final LLMChatCallback callback;

    public StringSubscriber(LLMChatCallback callback) {
        this.callback = callback;
    }

    @Override
    public void onSubscribe(Flow.Subscription subscription) {
        this.subscription = subscription;
        subscription.request(1);
    }

    @Override
    public void onNext(String item) {
        log.debug("onNext: {}", item);
        if (callback != null) {
            // 可做业务处理
            callback.callback(item);
        }
        subscription.request(1);
    }

    @Override
    public void onError(Throwable throwable) {
        log.error("StringSubscriber error", throwable);
    }

    @Override
    public void onComplete() {
        log.debug("StringSubscriber complete");
    }

}

2.4 大模型Service实现

java 复制代码
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;

import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.time.Duration;

/**
 * B大模型服务
 **/
@Slf4j
@Service
public class BLMService implements LLMService {

    @Override
    public void dialogue(String payload, LLMChatCallback callback) {
        HttpRequest httpRequest = HttpRequest.newBuilder(URI.create("this is url")).POST(HttpRequest.BodyPublishers.ofString("this is payload")).build();
        HttpClient httpClient = HttpClient.newBuilder().connectTimeout(Duration.ofMinutes(5)).version(HttpClient.Version.HTTP_2).build();
        HttpResponse.BodySubscriber<Void> bodySubscriber = HttpResponse.BodySubscribers.fromLineSubscriber(new StringSubscriber(callback));
        httpClient.sendAsync(httpRequest, responseInfo -> bodySubscriber).join();
    }

}

2.5 使用

java 复制代码
@Resource
private BLMService bLMService;

public void void dialogue() {
    // 构建请求负载
    String payload = "this is payload";
    // 可以扩展使用工厂及策略模式获取对应的模型对话service
    bLMService.dialogue(payload, message -> {
        // 处理业务接收返回的信息 比如通过grpc的流式响应 onNext(message) 同步返回
        System.out.println(message);
    });
}
相关推荐
15Moonlight4 小时前
Linux网络(12):Reactor 模式
linux·网络
张小姐的猫4 小时前
【基于 WebSocket 的多用户网页五子棋】—— 整合封装服务器模块设计实现1️⃣
服务器·websocket·网络协议
nice_lcj5204 小时前
【从零理解计算机网络 · 04】TCP 三次握手:为什么恰好是三次
java·后端·tcp/ip·计算机网络·面试·tcp·三次握手
Sarvartha5 小时前
反射综合案例:SQL 语句生成
java·开发语言
Resean022315 小时前
Spring 源码分析(二)配置类的解析与扫描
java·后端·spring
小毛球.15 小时前
第 3 篇:IDEA 最新版下载与完整安装教程(Mac)
java·macos·intellij-idea·idea
Misnearch17 小时前
ScheduledExecutorService
java·线程池
程序员韩星17 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
ashiho18 小时前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口
其实防守也摸鱼18 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构