Spring AI -快速开发ChatGPT应用

dreamer_83992024-08-07 16:05

Spring AI介绍

Spring AI是AI工程师的一个应用框架，它提供了一个友好的API和开发AI应用的抽象，旨在简化AI应用的开发工序，例如开发一款基于ChatGPT的对话、图片、音频等应用程序。

Spring AI已经集成了OpenAI的API，因此我们不需要实现向OpenAI发送请求和接收响应的交互程序了，Spring AI已经实现了这一内容，我们只需要通过调用Spring AI为我们提供的接口即可

项目地址：https://github.com/spring-projects-experimental/spring-ai

文档地址：https://docs.spring.io/spring-ai/reference/

Spring AI能做什么？

  • 支持目前主流大语言模型平台，例如 OpenAI、Microsoft、Amazon、Google 和 Huggingface；
  • 支持阻塞与流式的文本对话；
  • 支持图像生成(当前仅限OpenAI的dall-e-*模型和SD)；
  • 支持嵌入模型；
  • 支持LLM生成的内容转为POJO；
  • 支持主流的向量数据库或平台：Azure Vector Search, Chroma, Milvus, Neo4j, PostgreSQL/PGVector, PineCone, Qdrant, Redis 和 Weaviate
  • 支持函数调用
  • 支持自动装配和启动器（与Spring Boot完美集成）；
  • 提供用于数据处理工程的ETL框架；

项目实践

准备工作

版本说明

  • OpenAI的Key
  • OpenAI的Api
  • JDK >= 17
  • Spring 6.x;Spring Boot 3.x
  • Spring AI 0.8.1-SNAPSHOT

pom引入

XML 复制代码 
<!-- 仓库定义 -->
<repositories>
    <repository>
      <id>spring-milestones</id>
      <name>Spring Milestones</name>
      <url>https://repo.spring.io/milestone</url>
      <snapshots>
        <enabled>false</enabled>
      </snapshots>
    </repository>
    <repository>
      <id>spring-snapshots</id>
      <name>Spring Snapshots</name>
      <url>https://repo.spring.io/snapshot</url>
      <releases>
        <enabled>false</enabled>
      </releases>
    </repository>
  </repositories>
<!-- 依赖管理配置 -->
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>0.8.1-SNAPSHOT</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>
XML 复制代码 
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

用于请求OpenAI平台相关模型，例如：对话用的ChatGPT、画图用的Dall-e-2/3、文本嵌入text-embedding-ada-002以及音频合成与识别的whisper和tts等相关模型。

配置文件application.yml

将相关key和api信息进行填写

XML 复制代码 
spring:
  ai:
    openai:
      api-key: 123
      base-url: https://api.openai.com
  1. 快速对话ChatClient
java 复制代码 
@Slf4j
@RestController
@RequestMapping("/chat")
public class ChatController {
    @Autowired
    private  ChatClient chatClient;
    @GetMapping("/demo")
    public String chat(String prompt){
        return chatClient.call(prompt);
    }

}

运行结果：

流式对话StreamingChatClient

流失对话的核心就是流式传输，AI的响应数据是一点一点传过来的，不用等AI将文本全部生成出来了才传过来。一定程度上能够提高使用上的响应速度，给用户一个非常好的体验。

java 复制代码 
@Slf4j
@RestController
@RequestMapping("/chat")
public class ChatController {
    @Autowired
    private StreamingChatClient streamingChatClient;
// 流式调用 将produces声明为文本事件流
    @GetMapping(value = "/stream",produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(String prompt){
        long startTime = System.currentTimeMillis();
        Flux<String> res=streamingChatClient.stream(prompt).flatMapSequential(Flux::just);
        long endTime = System.currentTimeMillis();
        long duration = endTime - startTime;
        log.info("流式调用执行时间:{}",duration);
        // 将流中的内容按顺序返回
        return res;
    }
}

运行结果：

上下文对话

ChatGPT上下文对话的实现原理较为简单，本质上其实就是将不同角色的聊天信息依次存储在一个队列中发送给ChatGPT即可，然后ChatGPT会根据整个聊天信息对回复内容进行判断。在OpenAI提供的接口中，每条信息的角色总共分为三类：

  • SystemMessage：系统限制信息，这种信息在对话中的权重很大，AI会优先依据SystemMessage里的内容进行回复；
  • UserMessage：用户信息
  • AssistantMessage：AI回复信息

不过，根据OpenAI的计费规则，你的消息队列越长，单次问询需要的费用就会越高，因此我们需要对这个消息列表的长度进行限制。

java 复制代码 
@Slf4j
@RestController
@RequestMapping("/chat")
public class ChatController {
    @Autowired
    private  ChatClient chatClient;
    // 历史消息列表
    static List<Message> historyMessage = new ArrayList<>();
    // 历史消息列表的最大长度
    static int maxLen = 10;
    @GetMapping("/context")
    public String context(String prompt) {
        // 用户输入的文本是UserMessage
        historyMessage.add(new UserMessage(prompt));
        // 发给AI前对历史消息对列的长度进行检查
        if(historyMessage.size() > maxLen){
            historyMessage = historyMessage.subList(historyMessage.size()-maxLen-1,historyMessage.size());
        }
        // 获取AssistantMessage
        ChatResponse chatResponse = chatClient.call(new Prompt(historyMessage));
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        // 将AI回复的消息放到历史消息列表中
        historyMessage.add(assistantMessage);
        return assistantMessage.getContent();
    }

}

人设设定

人设设定功能来自于"提示词（prompt）工程"的理论基础，可用来提高大语言模型处理复杂任务场景的能力

上面介绍Message的时候提到SystemMessage对AI生成的内容影响权重较大，人设设定就是需要靠SystemMessage实现。我们提供一个SystemMessage放入历史消息列表中，并让SystemMessage在每次发给AI时始终在历史消息列表中。

java 复制代码 
@Slf4j
@RestController
@RequestMapping("/chat")
public class ChatController {
    @Autowired
    private  ChatClient chatClient;
    // 历史消息列表
    final String systemPrompt="你现在是一个喜欢扮可爱的人，说话嗲嗲的";
    List<Message> historyMessage = new ArrayList<>(List.of(new SystemMessage(systemPrompt)));
    // 历史消息列表的最大长度
    static int maxLen = 10;
    @GetMapping("/context")
    public String context(String prompt) {
        // 用户输入的文本是UserMessage
        historyMessage.add(new UserMessage(prompt));
        // 发给AI前对历史消息对列的长度进行检查
        if(historyMessage.size() > maxLen){
            historyMessage = historyMessage.subList(historyMessage.size()-maxLen-1,historyMessage.size());
        }
        // 获取AssistantMessage
        ChatResponse chatResponse = chatClient.call(new Prompt(historyMessage));
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        // 将AI回复的消息放到历史消息列表中
        historyMessage.add(assistantMessage);
        return assistantMessage.getContent();
    }

}

运行结果：

模板语法PromptTemplate

Spring AI为我们提供了提示词模板，允许我们通过一些模板，快速地动态生成提示词并发起提问

java 复制代码 
@Slf4j
@RestController
@RequestMapping("/prompts")
public class PromptController {
    @Autowired
    private ChatClient chatClient;
    @Value("classpath:prompt.st")
    private Resource templateResource;
    @GetMapping("/template")
    public String promptTemplate(String author){
        // 提示词
        final String template = "请问{author}最受欢迎的书是哪本书？什么时候发布的？书的内容是什么？";
        PromptTemplate promptTemplate = new PromptTemplate(template);
        // 动态地将author填充进去
        Prompt prompt = promptTemplate.create(Map.of("author", author));
        ChatResponse chatResponse = chatClient.call(prompt);
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        return assistantMessage.getContent();
    }
    @GetMapping("/config/template")
    public String promptConfigTemplate(String author) {
        PromptTemplate promptTemplate = new PromptTemplate(templateResource);
        // 动态地将author填充进去
        Prompt prompt = promptTemplate.create(Map.of("author", author));
        ChatResponse chatResponse = chatClient.call(prompt);
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        return assistantMessage.getContent();
    }


}
复制代码 
请问{author}最受欢迎的书是哪本书？什么时候发布的？书的内容是什么？

OutputParser 生成解析器

SpringAi还为我们提供了OutputParser解析器，该解析器可以将AI生成的内容解析为Java Bean对象。该解析器类似于ORM框架中的Mapper，将AI的生成内容映射为Java对象。

java 复制代码 
@Slf4j
@RestController
@RequestMapping("/parser")
public class ParserController {
    @Autowired
    private ChatClient chatClient;

    @GetMapping("/bean")
    public Movie getBookByAuthor(String actor) {
        final String template = """
                        请告诉我{actor}最受欢迎的电影是哪个？什么时间上映？大概讲了什么？
                        {format}
                """;
        // 定义一个输出解析器
        OutputParser<Movie> movieParser = new BeanOutputParser<>(Movie.class);
        PromptTemplate promptTemplate = new PromptTemplate(template);
        Prompt prompt = promptTemplate.create(Map.of("actor", actor, "format", movieParser.getFormat()));
        ChatResponse chatResponse = chatClient.call(prompt);
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        // 解析为一个Bean对象
        Movie movie = movieParser.parse(assistantMessage.getContent());
        return movie;
    }
}


@Data
@AllArgsConstructor
@NoArgsConstructor
public class Movie {
    private String actor;
    private String movieName;
    private String publishedDate;
    private String description;
}

绘图ImageClient

Spring AI提供了图片生成接口，该接口可以用于与各种专门用于图像生成的人工智能模型进行交互。

在调用绘图时，我们只需要像调用对话一样传入一个Prompt:ImagePrompt。ImagePrompt中包含了我们需要绘制的图片信息，包括：ImageMessage (绘图指令)、ImageOptions(图片数、图片配置、返回的图片格式、绘图模型等)。AI拿到我们的Prompt后会根据里面的内容对图像进行生产

ImageOptions重要属性

  • model：绘图模型，默认dall-e-3
    • dall-e-3：1024 x 1024 、 1024 x 1792、1792 x 1024;
    • dall-e-2: 256 x 256、512 x 512 、 1024 x 1024;
  • responseFormat：返回的图片格式，url 和 b64_json
java 复制代码 
@Slf4j
@RestController
@RequestMapping("/image")
public class ImageController {
    @Autowired
    private ImageClient imageClient;
    @GetMapping("/image")
    public String image(String prompt) {
        ImagePrompt imagePrompt =
                new ImagePrompt(prompt, OpenAiImageOptions.builder()
                        .withModel(OpenAiImageApi.ImageModel.DALL_E_3.getValue())
                        .withHeight(1024)
                        .withWidth(1024)
                        .withResponseFormat("url") // URL or b64_json
                        .build());
        ImageResponse imageResponse = imageClient.call(imagePrompt);
        List<ImageGeneration> results = imageResponse.getResults();
        // 图片url
        String url = results.get(0).getOutput().getUrl();
        return String.format("<img src='%s' alt='%s'>",url,prompt);
    }
}

AI自查实现对话和绘图

通过AI自查手段将文本模型和图片生成模型进行组合实现一个既可以生成文本也可以生成AI的接口。这个关键点就是利用提示词限制AI的回复内容以达到一个自查手段

AI自查就是让AI判断你的问题是画一个图还是简简单单的对话。

  • 用户输入文本prompt;
  • 先让AI判断文本prompt是否需要图片;
  • 如果需要图片，调用绘图模型获取绘图结果；
  • 如果不需要图片，直接调用对话模型;'
java 复制代码 
@Slf4j
@RestController
@RequestMapping("/judge")
public class JudgeByAiController {
    @Autowired
    private ChatClient chatClient;
    @Autowired
    private ImageClient imageClient;
    @Value("classpath:judge.st")
    private Resource templateResource;
    @RequestMapping("/ai")
    public String ai(String prompt){
        try {
            return judge(prompt)?image(prompt):chat(prompt);
        } catch (Exception e) {
            return "error";
        }
    }
    private boolean judge(String promptString){
        PromptTemplate promptTemplate = new PromptTemplate(templateResource);
        // 动态地将prompt填充进去
        Prompt prompt = promptTemplate.create(Map.of("prompt", promptString));
        ChatResponse chatResponse = chatClient.call(prompt);
        AssistantMessage assistantMessage = chatResponse.getResult().getOutput();
        String judgeResult=assistantMessage.getContent();
        return judgeResult.toLowerCase().contains("yes")?true:false;
    }
    private String chat(String prompt){
        String res=chatClient.call(prompt);
        return res;
    }
    private String image(String prompt) {
        ImagePrompt imagePrompt =
                new ImagePrompt(prompt, OpenAiImageOptions.builder()
                        .withModel(OpenAiImageApi.ImageModel.DALL_E_3.getValue())
                        .withHeight(1024)
                        .withWidth(1024)
                        .withResponseFormat("url") // URL or b64_json
                        .build());
        ImageResponse imageResponse = imageClient.call(imagePrompt);
        List<ImageGeneration> results = imageResponse.getResults();
        // 图片url
        String url = results.get(0).getOutput().getUrl();
        return String.format("<img src='%s' alt='%s'>",url,prompt);
    }
}
java 复制代码 
Does this message want to generate an AI picture, image, art or anything similar? {prompt} . Simply answer with a yes or no.

LLM领域新浪潮即将来临

openAI真正走向CloseAI，LLM国产替代浪潮即将到来

危！OpenAI 将限制中国开发者访问 API 服务-CSDN博客

相关推荐
码里法1 小时前
springmvc用配置类替换xml配置
java·spring·mvc
少说多想勤做5 小时前
【计算机视觉前沿研究 热点 顶会】ECCV 2024中Mamba有关的论文
人工智能·计算机视觉·目标跟踪·论文笔记·mamba·状态空间模型·eccv
小小小小关同学5 小时前
Spring Cloud LoadBalancer
后端·spring·spring cloud
宜向华5 小时前
opencv 实现两个图片的拼接去重功能
人工智能·opencv·计算机视觉
OpenVINO生态社区6 小时前
【了解ADC差分非线性（DNL）错误】
人工智能
爱摄影的程序猿6 小时前
JAVA springboot面试题今日分享
java·spring boot·spring·面试
ZJKJTL6 小时前
Spring中使用ResponseStatusExceptionResolver处理HTTP异常响应码
java·spring·http
醉后才知酒浓7 小时前
图像处理之蒸馏
图像处理·人工智能·深度学习·计算机视觉
炸弹气旋7 小时前
基于CNN卷积神经网络迁移学习的图像识别实现
人工智能·深度学习·神经网络·计算机视觉·cnn·自动驾驶·迁移学习
python_知世7 小时前
时下改变AI的6大NLP语言模型
人工智能·深度学习·自然语言处理·nlp·大语言模型·ai大模型·大模型应用
热门推荐
0151-2 万字长文，深度解读端到端自动驾驶的挑战和前沿022024年高教社杯数学建模国赛C题超详细解题思路分析03【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提04RAG 实践- Ollama+RagFlow 部署本地知识库05【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文062024 高教社杯 数学建模国赛 （A题）深度剖析|“板凳龙” 闹元宵|数学建模完整代码+建模过程全解全析07Coze扣子平台完整体验和实践（附国内和国际版对比）082024年高教杯国赛（C题）数学建模竞赛解题思路|完整代码论文集合092024 年高教社杯全国大学生数学建模竞赛题目-A 题 “板凳龙” 闹元宵10【SCS-CN】SCS-CN模型中CN值的确定