LangChain4j 搭配 Kotlin：以协程、流式交互赋能语言模型开发

Kotlin 支持 | LangChain4j

Kotlin 是一种面向 JVM（及其他平台）的静态类型语言，能够实现简洁优雅的代码，并与 Java 库无缝互操作。

LangChain4j 利用 Kotlin 扩展和类型安全构建器来增强 Java API，为其增添特定于 Kotlin 的便利功能，从而允许用户为现有的 Java 类扩展额外的功能，以满足 Kotlin 的特定需求。

注意

LangChain4j 并不要求将 Kotlin 库作为运行时依赖，但却 enables 用户利用 Kotlin 的协程能力来实现非阻塞执行，进而提升性能和效率。

如果你想使用数据类，那么请确保你的类路径中包含 Jackson 模块 Kotlin。对于 Maven 而言，需添加运行时依赖：

复制代码

<dependency>
    <groupId>com.fasterxml.jackson.module</groupId>
    <artifactId>jackson-module-kotlin</artifactId>
    <version>[LATEST_VERSION]</version>
    <scope>runtime</scope>
</dependency>

ChatLanguageModel 扩展

以下 Kotlin 代码展示了如何利用协程和挂起函数以及类型安全构建器与 LangChain4j 中的 ChatLanguageModel 进行交互：

复制代码

val model = OpenAiChatModel.builder()
    .apiKey("YOUR_API_KEY")
    // 在此处添加更多配置参数 ...
    .build()

CoroutineScope(Dispatchers.IO).launch {
    val response = model.chat {
        messages += systemMessage("You are a helpful assistant") // 将系统消息添加到消息列表中
        messages += userMessage("Hello!") // 将用户消息添加到消息列表中
        parameters { // 配置参数
            temperature = 0.7 // 设置温度参数
        }
    }
    println(response.aiMessage().text()) // 打印出模型的回复文本
}

交互过程采用 Kotlin 的协程异步进行：

CoroutineScope(Dispatchers.IO).launch ：在 IO 调度程序上执行该进程，这对于如网络或文件 I/O 等阻塞任务进行了优化。通过这种方式，可确保调用线程不会被阻塞，从而维持响应性。
model.chat 是一个挂起函数，它使用构建器块来构建聊天请求。这种方法减少了样板代码，使代码更具可读性和可维护性。

对于高级场景，为了支持自定义 ChatRequestParameters，类型安全构建函数接受自定义构建器：

复制代码

fun <B : DefaultChatRequestParameters.Builder<*>> parameters(
    builder: B = DefaultChatRequestParameters.builder() as B,
    configurer: ChatRequestParametersBuilder<B>.() -> Unit
)

示例用法如下：

复制代码

model.chat {
    messages += systemMessage("You are a helpful assistant") // 将系统消息添加到消息列表中
    messages += userMessage("Hello!") // 将用户消息添加到消息列表中
    parameters(OpenAiChatRequestParameters.builder()) { // 配置自定义参数构建器
        temperature = 0.7 // DefaultChatRequestParameters.Builder 的属性
        builder.seed(42) // OpenAiChatRequestParameters.Builder 的属性
    }
}

流式使用场景

StreamingChatLanguageModel 扩展为需要在生成响应时逐步处理的场景提供了功能支持。这对于需要实时反馈的应用（如聊天界面、实时编辑器或具有流式逐令牌交互的系统）尤为实用。

借助 Kotlin 协程，chatFlow 扩展函数将语言模型的流式响应转换为结构化的、可取消的 Flow 序列，从而实现与协程友好的非阻塞式处理。

以下是利用 chatFlow 实现完整交互的示例：

复制代码

val flow = model.chatFlow { // 与非流式场景类似
    messages += userMessage("Can you explain how streaming works?") // 将用户消息添加到消息列表中
    parameters { // 配置聊天请求参数
        temperature = 0.7 // 设置温度参数
        maxOutputTokens = 42 // 设置最大输出令牌数
    }
}

runBlocking { // 必须在协程上下文中运行
    flow.collect { reply -> // 收集流式响应
        when (reply) {
            is StreamingChatLanguageModelReply.PartialResponse -> { // 部分响应
                print(reply.partialResponse) // 实时输出部分结果
            }
            is StreamingChatLanguageModelReply.CompleteResponse -> { // 完整响应
                println("\nComplete: ${reply.response.aiMessage().text()}") // 输出完整响应文本
            }
            is StreamingChatLanguageModelReply.Error -> { // 错误情况
                println("Error occurred: ${reply.cause.message}") // 输出错误信息
            }
        }
    }
}

你可以查看这个测试作为示例。

编译器兼容性

在 Kotlin 中定义工具时，为确保 Kotlin 编译配置保留 Java 反射在方法参数上的元数据，需要将 javaParameters 设置为 true。这一设置对于在工具规范中保持正确的参数名称是必需的。

当使用 Gradle 时，可以通过以下配置实现：

复制代码

kotlin {
    compilerOptions {
        javaParameters = true
    }
}