26_Spring AI 干货笔记之 OCI GenAI Cohere 聊天

一、OCI GenAI Cohere 聊天

OCI GenAI 服务提供生成式 AI 聊天功能，支持按需模型或专用 AI 集群。

OCI 聊天模型页面和 OCI 生成式 AI 演练场提供了在 OCI 上使用和托管聊天模型的详细信息。

二、先决条件

您需要一个活跃的 Oracle 云基础设施（OCI）账户才能使用 OCI GenAI Cohere 聊天客户端。该客户端提供四种不同的连接方式，包括使用用户和私钥进行简单身份验证、工作负载身份、实例主体或 OCI 配置文件身份验证。

2.1 添加仓库和 BOM

Spring AI 工件发布在 Maven Central 和 Spring Snapshot 仓库中。请参阅 "工件仓库" 部分，将这些仓库添加到您的构建系统。
为了帮助管理依赖项，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参阅 "依赖管理" 部分，将 Spring AI BOM 添加到您的构建系统。

三、自动配置

Spring AI 的自动配置和 starter 模块的工件名称发生了重大变化。更多信息请参考升级说明。

Spring AI 为 OCI GenAI Cohere 聊天客户端提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

xml 复制代码

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中。

groovy 复制代码

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}

请参阅 "依赖管理" 部分，将 Spring AI BOM 添加到您的构建文件中。

3.1 聊天属性

3.1.1 连接属性

前缀 spring.ai.oci.genai 是用于配置连接到 OCI GenAI 的属性前缀。

3.1.2 配置属性

聊天自动配置的启用和禁用现在通过前缀为 spring.ai.model.chat 的顶级属性进行配置。

要启用：spring.ai.model.chat=oci-genai（默认已启用）。

要禁用：spring.ai.model.chat=none（或任何不匹配 oci-genai 的值）。

此项更改是为了支持配置多个模型。

前缀 spring.ai.oci.genai.cohere.chat 是用于配置 OCI GenAI Cohere 聊天模型实现的属性前缀。

所有以 spring.ai.oci.genai.cohere.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加请求特定的"运行时选项"来覆盖。

四、运行时选项

OCICohereChatOptions.java 提供了模型配置，例如要使用的模型、温度、频率惩罚等。

在启动时，可以通过 OCICohereChatModel(api, options) 构造函数或 spring.ai.oci.genai.cohere.chat.options.* 属性来配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，为特定请求覆盖默认模型和温度：

java 复制代码

ChatResponse response = chatModel.call(
    new Prompt(
        "生成 5 个著名海盗的名字。",
        OCICohereChatOptions.builder()
            .model("my-model-ocid")
            .compartment("my-compartment-ocid")
            .temperature(0.5)
        .build()
    ));

五、示例控制器

创建一个新的 Spring Boot 项目，并将 spring-ai-starter-model-oci-genai 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 OCI GenAI Cohere 聊天模型：

yaml 复制代码

spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid

请将 file、compartment 和 model 替换为您的 OCI 账户中的值。

这将创建一个 OCICohereChatModel 实现，您可以将其注入到您的类中。以下是一个简单的 @Controller 类示例，该类使用聊天模型进行文本生成。

java 复制代码

@RestController
public class ChatController {

    private final OCICohereChatModel chatModel;

    @Autowired
    public ChatController(OCICohereChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "给我讲个笑话") String message) {
        return Map.of("generation", chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
    public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "给我讲个笑话") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return chatModel.stream(prompt);
    }
}

六、手动配置

OCICohereChatModel 实现了 ChatModel，并使用 OCI Java SDK 连接到 OCI GenAI 服务。

将 spring-ai-oci-genai 依赖项添加到项目的 Maven pom.xml 文件中：

xml 复制代码

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-oci-genai</artifactId>
</dependency>

或者添加到您的 Gradle build.gradle 构建文件中。

groovy 复制代码

dependencies {
    implementation 'org.springframework.ai:spring-ai-oci-genai'
}

请参阅 "依赖管理" 部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 OCICohereChatModel 并将其用于文本生成：

java 复制代码

var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");

ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
        CONFIG_FILE,
        "DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
        .region(Region.valueOf("us-chicago-1"))
        .build(authProvider);

var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
        .model(MODEL_ID)
        .compartment(COMPARTMENT_ID)
        .servingMode("on-demand")
        .build());

ChatResponse response = chatModel.call(
        new Prompt("生成 5 个著名海盗的名字。"));

OCICohereChatOptions 为聊天请求提供配置信息。OCICohereChatOptions.Builder 是一个流畅的选项构建器。