Springboot利用大模型实现即时通信

gitee地址:https://gitee.com/myha/Springboot-langchain-chat

版本及工具说明

本项目版本:springboot3.2.8 + jdk17 + mybatis-plus3.5.7

安装python,可以参考:https://docs.python.org/zh-cn/3/using/windows.html#the-full-installer

本项目使用的是python3.11

安装向量库 chroma ,你可以理解为数据库,可以参考:https://docs.trychroma.com/getting-started

本项目使用的大模型API是《智谱》提供的,你需要去申请一个api key ,网站地址如下:https://open.bigmodel.cn/

项目简单介绍

1、数据库准备,数据库文件chat.sql

2、websocket通信

为了实现websocket通信,本项目使用了netty这个开源框架,官方文档:https://netty.io/wiki/user-guide-for-4.x.html

关于通信的代码都位于websocket这个目录下,下面简单介绍一下

NettyServer ,启动websocket服务,核心方法

NettyInitializer netty初始化

NettyIdleStateHandler 心跳检测,比如空闲一小时自动断开连接

NettyConfig 定义两个全局变量

NettyTextHandler 核心的业务处理模块,发送信息、监听连接状态

3、LLM集成框架

这里使用langchain4j,参考文档:https://docs.langchain4j.dev/

在开始之前我们要启动我们前面安装的向量库chroma

shell 复制代码
C:\Users\Administrator>chroma run

显示如下信息

注意:Connect to chroma at: http://localhost:8000这个地址,代码中用到

接下来我们上传我们本地的资料"装修建议.txt",我们利用接口上传,接口在agent->StoreController.java里面,上传后可以测试一下,接口在agent->AgentController.java

php 复制代码
@PostMapping("/search")
    public ResultUtil<String> search(String question) {
    return ResultUtil.ok(agentService.search(question));
}

你可以看看装修建议.txt,我们问的问题,答案就是在这里面。

下面我简单的描述一下这个给项目的主流程

用户上线------>分配一个客服

用户发消息------>大模型接收到消息,返回需要回复的信息

客服拿到大模型回复的信息发给用户------》用户收到消息

相关推荐
10年前端老司机23 分钟前
你的RAG检索正在“高效地重复废话”:一文彻底搞懂MMR算法
langchain·llm·agent
十年Java程序媛4 小时前
Java 接口和抽象类对比|Java8 新特性,抛弃老旧八股,正确选型
java·spring boot·后端
用户938515635076 小时前
从 0 到 1 搭建企业级多模态 RAG 知识库:一个装修公司的 AI 落地实战
人工智能·langchain·llm
for_ever_love__6 小时前
MySQL 高频面试题 30 问:索引、事务、锁、日志、主从与分库分表(MySQL 8.0 版)
java·数据库·spring boot·mysql·spring cloud·面试·总结
染指11106 小时前
140.Agent-多Agent框架-Agent执行Skills流程
数据库·人工智能·设计模式·langchain·agents
SL_staff7 小时前
设备越多系统越崩?根源在三层抽象失效
spring boot·物联网·github
威哥爱编程7 小时前
【AI全栈12-01】Spring Boot 为何是 AI 全栈后端优选
java·spring boot·后端
威哥爱编程7 小时前
【AI全栈12-03】Spring Boot 用多模型路由把智能客服成本降下来
java·spring boot·后端
威哥爱编程7 小时前
【AI全栈12-02】Spring Boot 跑通第一个 AI 对话接口:HR 政策问答机器人实战
java·spring boot·后端
m0_587383007 小时前
深圳 24 小时自助健身房系统软件开发实战指南与案例解析
java·spring boot·小程序·架构·需求分析