【大模型】Langchain4j

流式问题

使用流式输出，却在浏览器中无法看到流式响应。

Mac中的Safari浏览器和Postman默认模式下是不支持流式响应的。

想要验证流式响应，可以使用命令

powershell 复制代码

curl -v -N "http://localhost:8080/chatStream?message=%E8%AF%B7%E5%B8%AE%E6%88%91%E7%94%9F%E6%88%90%E4%B8%80%E7%AF%871000%E5%AD%97%E7%9A%84%E5%B0%8F%E5%AD%A6%E4%BD%9C%E6%96%87"

由于Mac使用的ARM架构的芯片，所有对于Netty依赖，需要做下面改动。

xml 复制代码

        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-resolver-dns-native-macos</artifactId>
            <version>4.1.78.Final</version>
            <classifier>osx-aarch_64</classifier>
        </dependency>

会话隔离

由于会话存储历史记录使用的是同一个记忆存储对象，因此多次会话的记忆没有做到隔离。这里我们需要使用memoryID来实现不同会话直接的隔离效果。

会话隔离实践

定义会话记忆对象提供者
配置会话定义对象提供者
ConsultantService接口方法中添加参数memoryID
Controller中Chat接口接收memoryID
前端页面请求时传递memoryID

使用Redis进行存储对应的会话历史信息，这里需要实现下面接口：

java 复制代码

public interface ChatMemoryStore {
    List<ChatMessage> getMessages(Object memoryId);
    void updateMessages(Object memoryId, List<ChatMessage> messages);
    void deleteMessages(Object memoryId);
}

RAG知识库

检索增强生成（Retrieve Augmented Generatered）：其实RAG就相当于增强prompt。

使用RAG中的流程：

知识库需要使用到向量数据库：

milvus向量数据库。

Tools工具

功能场景，在大模型与用户沟通过程中，可以在回答中添加一些信息或者收集一些信息。

也就是读取MySQL中的数据，并通过AI问答展示出来。

Tools工具原理

之前叫做Function Calling；当用户表现出预约意向时，调用对应的服务进行信息收集与预约，就需要使用到当前功能，也就是在问答中调用增删改查。

这里会用到两个注解，一个是 @Tool 注解，另一个是 @P 注解；

@Tools注解为方法注解，标注当前的方法会被Agent调用，@P注解为入参注解，标注每个入参映射的具体名称。

最后在@AiService注解中将包含@Tools和@P注解的类名进行注册；tools=类名；

这样就可以在对话中调用增删改查服务。