java脚手架系列16-AI大模型集成

之所以想写这一系列，是因为之前工作过程中有几次项目是从零开始搭建的，而且项目涉及的内容还不少。在这过程中，遇到了很多棘手的非业务问题，在不断实践过程中慢慢积累出一些基本的实践经验，认为这些与业务无关的基本的实践经验其实可以复刻到其它项目上，在行业内可能称为脚手架，因此决定将此java基础脚手架的搭建总结下来，分享给大家使用。

注意 ：由于框架不同版本改造会有些使用的不同，因此本次系列中主要使用基本框架是 spring-boo-2.3.12.RELEASE和spring-cloud.-Hoxton.SR12，所有代码都在commonFramework项目上：https://github.com/forever1986/commonFramework/tree/master

目录

• [1 AI 集成](#1 AI 集成)
• • [1.1 代码演示](#1.1 代码演示)
  • • [1.1.1 新建ai-biz子模块，引入以下依赖](#1.1.1 新建ai-biz子模块，引入以下依赖)
    • [1.1.2 配置通义千问的配置](#1.1.2 配置通义千问的配置)
    • [1.1.3 定义读取配置的QwenConfigProperties](#1.1.3 定义读取配置的QwenConfigProperties)
    • [1.1.4 定义controller接口](#1.1.4 定义controller接口)
    • [1.1.5 测试访问](#1.1.5 测试访问)

1 AI 集成

目前的大模型已经具备很好的通用能力，基于大模型的落地应用也接连变成可行性，因此在java后端集成大模型能力也是必不可少。市面上的大模型有很多，其实能力差不多，如果直接使用作为应用可能还达不到商业需求，那么一般我们会做prompt、微调、RAG（可参考我的写的博客《检索增强生成RAG系列》）、KAG等不同手段增强实际场景的准确率，从而达到可应用级。

而在java后端中，一般通过调用其提供的生成能力集成。大模型一般提供2种方式集成，一个是通过API接口，一个是通过SDK。其中SDK每个厂家都会发布，而spring-AI有一个统一规范。基于spring-AI这个规范，厂家也会制定一个starter方式使得开发者很方便。spring-AI对环境(JDK17及以上)和框架(springboot3.2及以上)要求比较高，由于我们的commonFramework是基于jdb1.8以及springboot2.x，因此本次演示使用厂家发布的SDK。

1.1 代码演示

这里访问通义千问大模型，使用其发布的SDK :dashscope-sdk-java

先决条件：在阿里云的百炼平台申请API-KEY
参考ai-biz子模块

1.1.1 新建ai-biz子模块，引入以下依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>dashscope-sdk-java</artifactId>
        <version>2.14.4</version>
    </dependency>
</dependencies>

1.1.2 配置通义千问的配置

在yaml文件中配置senders

server:
  port: 9986
spring:
  application:
    name: ai-biz-service

  ai:
    qwen:
      api-key : 你的API-KEY(在阿里云的百炼平台申请一个)
      chat:
        options:
          systeMessage : 你是一个问答小助手！
          model : qwen-turbo
          temperature : 0.7

1.1.3 定义读取配置的QwenConfigProperties

@ConfigurationProperties(
        prefix = "spring.ai.qwen.chat.options"
)
@Data
@NoArgsConstructor
public class QwenConfigProperties {

    private String systeMessage = "";
    private String model = "";
    private Float temperature = 0.9f;

}

1.1.4 定义controller接口

@EnableConfigurationProperties(QwenConfigProperties.class)
@RestController
public class AIController {


    @Value("${spring.ai.qwen.api-key}")
    private String apiKey = "";

    @Autowired
    private QwenConfigProperties qwenConfigProperties;

    @GetMapping("/ai/generate")
    public String generate(@RequestParam(value = "message", defaultValue = "你是谁？") String message) throws NoApiKeyException, InputRequiredException {
        Generation gen = new Generation();
        Message systemMsg = Message.builder()
                .role(Role.SYSTEM.getValue())
                .content(qwenConfigProperties.getSysteMessage())
                .build();
        Message userMsg = Message.builder()
                .role(Role.USER.getValue())
                .content(message)
                .build();
        GenerationParam param = GenerationParam.builder()
                .apiKey(apiKey)
                .model(qwenConfigProperties.getModel())
                .temperature(qwenConfigProperties.getTemperature())
                .messages(Arrays.asList(systemMsg, userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .build();
        GenerationResult result = gen.call(param);
        GenerationOutput output = result.getOutput();
        return output.getChoices().get(0).getMessage().getContent();
    }

}

1.1.5 测试访问