Spring AI:结构化输出

Spring AI 结构化输出转换器 将 LLM 输出转换为结构化格式。

使用通用完成 API 从大型语言模型 (LLM) 生成结构化输出需要仔细处理输入和输出。结构化输出转换器在 LLM 调用之前和之后都起着关键作用,确保实现所需的输出结构。 在 LLM 调用之前,转换器将格式指令附加到提示中,为模型提供生成所需输出结构的明确指导。这些指令充当蓝图,塑造模型的响应以符合指定的格式。

可用转换器

目前,Spring AI 提供了 AbstractConversionServiceOutputConverter、AbstractMessageOutputConverter、BeanOutputConverter、MapOutputConverter 和 ListOutputConverter 实现

其中BeanOutputConverter<T>、MapOutputConverter 和 ListOutputConverter配置了默认的 FormatProvider 实现

转换器的两种种使用方式

以BeanOutputConverter<T>为例子演示

表示演员电影作品的目标记录

arduino 复制代码
record ActorsFilms(String actor, List<String> movies) {
}

以下是使用ChatClient API 应用 BeanOutputConverter 的方法

scss 复制代码
ActorsFilms actorsFilms = ChatClient.create(chatModel).prompt()
        .user(u -> u.text("Generate the filmography of 5 movies for {actor}.")
                    .param("actor", "Tom Hanks"))
        .call()
        .entity(ActorsFilms.class);

或直接使用低级 ChatModel API

ini 复制代码
BeanOutputConverter<ActorsFilms> beanOutputConverter =
    new BeanOutputConverter<>(ActorsFilms.class);

String format = this.beanOutputConverter.getFormat();

String actor = "Tom Hanks";

String template = """
        Generate the filmography of 5 movies for {actor}.
        {format}
        """;

Generation generation = chatModel.call(
    PromptTemplate.builder().template(this.template).variables(Map.of("actor", this.actor, "format", this.format)).build().create()).getResult();

ActorsFilms actorsFilms = this.beanOutputConverter.convert(this.generation.getOutput().getText());

对比使用结构化输出对返回内容的影响(使用chatclientapi)

BeanOutputConverter<T>

调用代码:

scss 复制代码
    record ActorsFilms(String actor, List<String> movies) {
    }
String structuredPrompt = "Generate the 5 movies that {actor} has performed in. ";
ActorsFilms actorsFilms = ChatClient.create(dashscopeChatModel).prompt()
        .user(u -> u.text(structuredPrompt)
                .param("actor", "Robert Downey Jr."))
        .call()
        .entity(ActorsFilms.class);
String plainText = ChatClient.create(dashscopeChatModel).prompt()
        .user(u -> u.text(structuredPrompt)
                .param("actor", "Robert Downey Jr."))
        .call()
        .content();
printComparison("beanOutputConverterWithChatClient", actorsFilms, plainText);

输出结果对比:

MapOutputConverter

调用代码

vbnet 复制代码
        Map<String, Object> result = ChatClient.create(dashscopeChatModel).prompt()
                .user(u -> u.text("Provide me a List of {subject}")
                        .param("subject", "Books You Must Read at Different Stages of Life."))
                .call()
                .entity(new ParameterizedTypeReference<Map<String, Object>>() {
                });
        String plainText = ChatClient.create(dashscopeChatModel).prompt()
                .user(u -> u.text("Provide me a List of {subject}")
                        .param("subject", "Books You Must Read at Different Stages of Life."))
                .call()
                .content();
        printComparison("mapOutputConverterWithChatClient", result, plainText);

输出结果对比:

结构化输出:result

非结构化输出:

ListOutputConverter

调用代码:

scss 复制代码
        List<String> flavors = ChatClient.create(dashscopeChatModel).prompt()
                .user(u -> u.text("List five {subject}")
                        .param("subject", "ice cream flavors"))
                .call()
                .entity(new ListOutputConverter(new DefaultConversionService()));
        String plainText = ChatClient.create(dashscopeChatModel).prompt()
                .user("List five ice cream flavors.")
                .call()
                .content();
        printComparison("listOutputConverterWithChatClient", flavors, plainText);

输出结果对比:

相关推荐
码事漫谈5 小时前
以后人人都可以成为导演
后端
Resean02236 小时前
Spring 源码分析(二)配置类的解析与扫描
java·后端·spring
一只爱撸猫的程序猿6 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
小毛球.6 小时前
第 3 篇:IDEA 最新版下载与完整安装教程(Mac)
java·macos·intellij-idea·idea
ShineWinsu6 小时前
对于Qt:QFormLayout常见属性以及方法的解析
开发语言·c++·qt·面试·客户端·表单·qformlayout
北城笑笑7 小时前
Vue 110 ,若依SSE流式接口限次空500排查与解决
前端·javascript·vue.js·后端·vue
Misnearch7 小时前
ScheduledExecutorService
java·线程池
nice_lcj5207 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制
ServBay8 小时前
Local harness 将退役,VS Code 本地开发要不要搬到云端?
后端·ai编程·visual studio code
ashiho8 小时前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口