Springboot利用大模型实现即时通信

gitee地址:https://gitee.com/myha/Springboot-langchain-chat

版本及工具说明

本项目版本:springboot3.2.8 + jdk17 + mybatis-plus3.5.7

安装python,可以参考:https://docs.python.org/zh-cn/3/using/windows.html#the-full-installer

本项目使用的是python3.11

安装向量库 chroma ,你可以理解为数据库,可以参考:https://docs.trychroma.com/getting-started

本项目使用的大模型API是《智谱》提供的,你需要去申请一个api key ,网站地址如下:https://open.bigmodel.cn/

项目简单介绍

1、数据库准备,数据库文件chat.sql

2、websocket通信

为了实现websocket通信,本项目使用了netty这个开源框架,官方文档:https://netty.io/wiki/user-guide-for-4.x.html

关于通信的代码都位于websocket这个目录下,下面简单介绍一下

NettyServer启动websocket服务,核心方法

NettyInitializer netty初始化

NettyIdleStateHandler 心跳检测,比如空闲一小时自动断开连接

NettyConfig 定义两个全局变量

NettyTextHandler 核心的业务处理模块,发送信息、监听连接状态

3、LLM集成框架

这里使用langchain4j,参考文档:https://docs.langchain4j.dev/

在开始之前我们要启动我们前面安装的向量库chroma

shell 复制代码
C:\Users\Administrator>chroma run

显示如下信息

注意:Connect to chroma at: http://localhost:8000这个地址,代码中用到

接下来我们上传我们本地的资料"装修建议.txt",我们利用接口上传,接口在agent->StoreController.java里面,上传后可以测试一下,接口在agent->AgentController.java

php 复制代码
@PostMapping("/search")
    public ResultUtil<String> search(String question) {
    return ResultUtil.ok(agentService.search(question));
}

你可以看看装修建议.txt,我们问的问题,答案就是在这里面。

下面我简单的描述一下这个给项目的主流程

用户上线------>分配一个客服

用户发消息------>大模型接收到消息,返回需要回复的信息

客服拿到大模型回复的信息发给用户------》用户收到消息

相关推荐
大流星1 天前
LangChainJs之基础模型(一)
javascript·langchain
AIOps打工人1 天前
我以为 LangChain 就是调用大模型,直到我写出第一条 Chain
langchain
大模型真好玩2 天前
LangChain DeepAgents 速通指南(十)—— DeepAgents Code 智能体服务核心源码解读
人工智能·langchain·agent
Flittly3 天前
【AgentScope Java新手村系列】(16)从RAG到多路检索
java·spring boot·spring
人活一口气3 天前
从JVM调优到MCP协议:Java全栈技术体系深度总结与企业级架构实践
java·spring boot
花千树_0103 天前
多工具调用只是开始:用 Regnexe 构建真正会反思的 Java Agent
langchain·agent
Java陈序员4 天前
企业级!一个基于 Java 开发的开源 AI 应用开发平台!
spring boot·agent·mcp
杨运交4 天前
[041][公共模块]分布式唯一ID生成器设计与实现:一款灵活可扩展的雪花算法框架
spring boot
Flittly5 天前
【AgentScope Java新手村系列】(14)人机交互
java·spring boot·spring
Flynt6 天前
从Spring Boot 4.0升到4.1,我在Maven和gRPC上栽了跟头
java·spring boot·后端