Langchaine4j 流式输出 (6)

Langchaine4j 流式输出

大模型的流式输出是指大模型在生成文本或其他类型的数据时,不是等到整个生成过程完成后再一次性

返回所有内容,而是生成一部分就立即发送一部分给用户或下游系统,以逐步、逐块的方式返回结果。

这样,用户就不需要等待整个文本生成完成再看到结果。通过这种方式可以改善用户体验,因为用户不

需要等待太长时间,几乎可以立即开始阅读响应。

流式输出

添加流式输出依赖

复制代码
<!--流式输出-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-webflux</artifactId>
</dependency>
<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j-reactor</artifactId>
</dependency>

使用流式输出模型

复制代码
langchain4j:
 # 接入阿里百炼平台
  community:
    dashscope:
      streaming-chat-model:
        api-key: ${ALI_BAILIAN_TOKEN}
        model-name: qwen-plus

创建流式Assistant

复制代码
@AiService(wiringMode = AiServiceWiringMode.EXPLICIT,
        streamingChatModel = "qwenStreamingChatModel", // 这里注入 千问流式模型
        chatMemory = "chatMemory")
public interface StreamAssistant {
	// 使用WebFlux接受流式模型返回
    Flux<String> chat( String userMessage);

}

测试流式输出

  • 单元测试流式输出

    @SpringBootTest
    public class StreamModelTest {

    复制代码
      @Resource
      private StreamAssistant streamAssistant;
    
      @Test
      public void testStreamModel() throws InterruptedException {
          Flux<String> responseFlux = streamAssistant.chat("1+2等于几,322233222345的平方根是多少?");
    
          CountDownLatch latch = new CountDownLatch(1);
    
          responseFlux
                  .doOnSubscribe(sub -> System.out.println("Subscribed to flux"))
                  .subscribe(
                          chunk -> System.out.println("Received: " + chunk),
                          throwable -> {
                              System.err.println("Error occurred: " + throwable.getMessage());
                              latch.countDown();
                          },
                          () -> {
                              System.out.println("Completed");
                              latch.countDown();
                          }
                  );
    
          latch.await();
      }

    }

  • 接口流式测试

    创建对外接口:

    复制代码
    @RestController
    @RequestMapping("/stream")
    public class StreamController {
    
        @Resource
        private StreamAssistant streamAssistant;
    
        @Operation(summary = "对话")
        @GetMapping(value = "/chat", produces = "text/stream;charset=utf-8") // 设置响应类型为流式文本,并指定字符集为UTF-8
        public Flux<String> chat() {
            return streamAssistant.chat("1+2等于几,322233222345的平方根是多少?");
        }
    }
相关推荐
森之鸟21 分钟前
寻找AI——初识3D建模AI
ai·aigc
豌豆花下猫1 小时前
Python 潮流周刊#118:Python 异步为何不够流行?(摘要)
后端·python·ai
尚学教辅学习资料2 小时前
Ruoyi-vue-plus-5.x第五篇Spring框架核心技术:5.1 Spring Boot自动配置
vue.js·spring boot·spring
晚安里2 小时前
Spring 框架(IoC、AOP、Spring Boot) 的必会知识点汇总
java·spring boot·spring
YF云飞2 小时前
数据仓库进化:Agent驱动数智化新范式
数据仓库·人工智能·ai
上官浩仁3 小时前
springboot ioc 控制反转入门与实战
java·spring boot·spring
叫我阿柒啊3 小时前
从Java全栈到前端框架:一位程序员的实战之路
java·spring boot·微服务·消息队列·vue3·前端开发·后端开发
中国胖子风清扬4 小时前
Rust 序列化技术全解析:从基础到实战
开发语言·c++·spring boot·vscode·后端·中间件·rust
CodeCraft Studio4 小时前
Aspose.Words for .NET 25.7:支持自建大语言模型(LLM),实现更安全灵活的AI文档处理功能
人工智能·ai·语言模型·llm·.net·智能文档处理·aspose.word
seegaler4 小时前
AMD显卡运行GPT-OSS全攻略
gpt·ai·amd·gpt-oss