【大语言模型LangChain】 ModelsIO OutputParsers详解

敲代码敲到头发茂密2024-12-13 9:50

【大语言模型LangChain】 ModelsIO OutputParsers详解

一、简介

基于前边的章节，LangChain 已经可以轻松实现帮用户拿到大语言模型的输出，然而不难发现，前文介绍的模型调用，显示返回的内容通常是一个类(class)的实例，其中包含了 content 以及其他一些额外的参数。

对于模型调用者来说，他们可能只关心 content 的内容，也就是模型对输入内容的回答，或者希望得到一个可操作的数据结构，比如 JSON 格式的数据。

二、OutputParsers 的优势

LangChain 设计的初衷之一，旨在让用户更便捷地使用大模型，所以为了解决输出内容格式化的问题。

通过使用 LangChain 提供的解析器，用户可以更轻松地获取模型的输出，并直接处理或操作所需的内容，而无需进行额外的转换或处理。

三、解析器类型

根据业务需求，开发者通常需要大模型返回一个结构化的数据，方便后续的逻辑可以根据这个数据进行进一步的处理。

然而不同的输入结果可能需要相对应的解析器来做处理，LangChain 同样提供了几种常见的解析器类型：

  • String 解析器
  • Json 解析器
  • Pydantic 解析器
  • 结构化输出解析器
  • OpenAI 函数输出解析器

四、实战示例

1、String 解析器

LangChain 提供了 StrOutputParser，这是一个专门用来处理模型输出内容的解析器。当模型输出的内容是字符串格式的时候，StrOutputParser 能够直接返回模型输出的 content 字符串内容。

这使得用户无需进行复杂的数据解析操作，可以直接获取模型输出的内容字符串，从而更方便地进行后续处理或使用，代码示例如下所示：

python 复制代码 
# 定义模型
import os

from langchain_core.messages import SystemMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate, HumanMessagePromptTemplate
from langchain_openai import ChatOpenAI


os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxxxxxx"

model = ChatOpenAI()
# 提示词模板
messages = ChatPromptTemplate.from_messages([
    SystemMessage(content="你是一个翻译各种语言的助手"),
    HumanMessagePromptTemplate.from_template("把 {poetry} 的原文诗翻译为英文")
])
# 输出解析器
parser = StrOutputParser()
# 调用链
chain_with_parser = messages | model | parser  # 使用输出解析器
res_with_parser = chain_with_parser.invoke({"poetry": "静夜思"})
print(res_with_parser)
print(type(res_with_parser))

print('---------------------不使用parser---------------------------------')

chain_with_parser = messages | model
res_with_parser = chain_with_parser.invoke({"poetry": "静夜思"})
print(res_with_parser)
print(type(res_with_parser))

结果对比：

2、Json 解析器

**当模型输出的内容是一个 JSON 格式时，LangChain 也提供了相应的解析器 JsonOutputParser。该解析器能够根据 JSON 结构的内容，将其转换为 Python 对应的字典格式的数据，使得用户能够更方便地处理和操作模型输出的结果。**代码示例如下所示：

python 复制代码 
import os

from langchain_core.output_parsers import JsonOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxxxx"

# 定义模型
model = ChatOpenAI()
# Json输出解析器
parser = JsonOutputParser()
# 模板提示，输出 json 格式的回答
prompt = PromptTemplate(
    template="根据用户的输入，给出一段中文宣传语 \n{format_instructions}\n{ads}\n",
    input_variables=["ads"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)
# 调用链 包含json输出解析器
chain_with_parser = prompt | model | parser
res_with_parser = chain_with_parser.invoke({"ads": "音乐节"})
print(res_with_parser)
print(type(res_with_parser))

print('------------------------不加json解析器------------------------')

# 调用链 包含json输出解析器
chain_with_parser = prompt | model
res_with_parser = chain_with_parser.invoke({"ads": "音乐节"})
print(res_with_parser)
print(type(res_with_parser))

3、Pydantic 解析器

除了支持解析 JSON 格式外，LangChain 还提供了对 Pydantic 模型的解析器 PydanticOutputParser。

**LangChain 的 Pydantic 解析器可以将模型输出的内容解析为 Pydantic 模型所定义的数据结构。这使得用户可以更加方便地使用 Pydantic 的功能，例如数据验证、序列化和反序列化等，**代码示例如下：

python 复制代码 
from langchain_core.output_parsers import PydanticOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
from pydantic import BaseModel, Field
import os

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxx"


class Translation(BaseModel):
    origin_str: str = Field(description="原始输入的值")
    trans_str: str = Field(description="翻译后的值")


# 定义一个模型
model = ChatOpenAI(temperature=0)
# 使用 pydantic 输出解析器解析 Translation 类
parser = PydanticOutputParser(pydantic_object=Translation)
# 提示模板
prompt = PromptTemplate(
    template="翻译用户输入的内容为英文\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)
# 包含解析器的调用链
chain_with_parser = prompt | model | parser
res_parser = chain_with_parser.invoke({"query": "赏花"})
# 输出返回的内容及类型
print(res_parser)
print(type(res_parser))

4、结构化输出解析器

LangChain 提供了一种自定义解析方案，即使用 schema 结构。用户可以根据需要定义自己的 schema，并使用 LangChain 的 StructuredOutputParser类来解析符合该 schema 的数据。

这种方式让用户能够更灵活地处理各种类型的模型输出数据，而无需依赖特定的数据验证库或框架。StructuredOutputParser 为用户提供了一种通用的解析方式，使他们能够简单地将模型输出的数据转换为符合自定义 schema 的数据对象。

代码示例如下：

python 复制代码 
from langchain.output_parsers import ResponseSchema, StructuredOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI

import os

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxxxx"



response_schemas = [
    ResponseSchema(name="slogan", description="宣传语内容"),
    ResponseSchema(name="req", description="宣传语限制在10个字符内"),
]
output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
prompt = PromptTemplate(
    template="根据用户输入的商品给出宣传语\n{format_instructions}\n{goods}",
    input_variables=["goods"],
    partial_variables={"format_instructions": output_parser.get_format_instructions()},
)

model = ChatOpenAI(temperature=0)
chain_with_parser = prompt | model | output_parser
res_with_parser = chain_with_parser.invoke({"goods": "音乐节"})
print(res_with_parser)
print(type(res_with_parser))

print('-----------------不加解析器-----------------------')

model = ChatOpenAI(temperature=0)
chain_with_parser = prompt | model
res_with_parser = chain_with_parser.invoke({"goods": "音乐节"})
print(res_with_parser)
print(type(res_with_parser))

5、OpenAI 函数输出解析器

LangChain 支持解析 OpenAI 提供的函数调用，并提供了以下四种形式来处理输出结果：

  • JsonOutputFunctionsParser：生成 JSON 格式的结果。
  • JsonKeyOutputFunctionsParser：指定 JSON 中某个 key 对应的 value。
  • PydanticOutputFunctionsParser：解析 Pydantic 模型的结构。
  • PydanticAttrOutputFunctionsParser：直接输出模型中某个参数的值。

5.1、JsonOutputFunctionsParser

python 复制代码 
# 调用大模型
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers.openai_functions import  JsonOutputFunctionsParser

import os

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxx"


model = ChatOpenAI()
# 提示词模板
prompt = ChatPromptTemplate.from_template("出给一个关于 {goods} 的广告宣传语")
# 自定义函数
functions = [
    {
        "name": "advertisement",
        "description": "一段广告词",
        "parameters": {
            "type": "object",
            "properties": {
                "goods": {"type": "string", "description": "要进行广告的产品"},
                "ads": {"type": "string", "description": "广告词"},
            },
            "required": ["goods", "ads"],
        },
    }
]

# todo JsonOutputFunctionsParser

# 创建调用链 包含输出解析器
chain_json_with_parser = prompt | model.bind(function_call={"name": "advertisement"},
                                             functions=functions) | JsonOutputFunctionsParser()
res_json_with_parser = chain_json_with_parser.invoke({"goods": "冰淇淋"})
print(res_json_with_parser)
print(type(res_json_with_parser))

print("---------------------------不加JsonOutputFunctionsParser---------------------------")

chain_json_with_parser = prompt | model.bind(function_call={"name": "advertisement"},
                                             functions=functions)
res_json_with_parser = chain_json_with_parser.invoke({"goods": "冰淇淋"})
print(res_json_with_parser)
print(type(res_json_with_parser))

5.2、JsonKeyOutputFunctionsParser

python 复制代码 
# 调用大模型
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers.openai_functions import JsonKeyOutputFunctionsParser
import os

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxx"


model = ChatOpenAI()
# 提示词模板
prompt = ChatPromptTemplate.from_template("出给一个关于 {goods} 的广告宣传语")
# 自定义函数
functions = [
    {
        "name": "advertisement",
        "description": "一段广告词",
        "parameters": {
            "type": "object",
            "properties": {
                "goods": {"type": "string", "description": "要进行广告的产品"},
                "ads": {"type": "string", "description": "广告词"},
            },
            "required": ["goods", "ads"],
        },
    }
]

# todo JsonOutputFunctionsParser


# 创建调用链 包含输出解析器
chain_key_parser = prompt | model.bind(function_call={"name": "advertisement"},
                                       functions=functions) | JsonKeyOutputFunctionsParser(key_name='ads')
res_key_parser = chain_key_parser.invoke({"goods": "摩托车"})
print(res_key_parser)
print(type(res_key_parser))


print("---------------------------不加JsonKeyOutputFunctionsParser---------------------------")

chain_key_parser = prompt | model.bind(function_call={"name": "advertisement"},
                                       functions=functions)
res_key_parser = chain_key_parser.invoke({"goods": "摩托车"})
print(res_key_parser)
print(type(res_key_parser))

5.3、PydanticOutputFunctionsParser

python 复制代码 
# 调用大模型
from langchain_core.output_parsers.openai_functions import PydanticOutputFunctionsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.utils.function_calling import convert_to_openai_function
from langchain_openai import ChatOpenAI
import os


from pydantic import BaseModel,Field

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxx"

class Advertisement(BaseModel):
    origin_str: str = Field(description="原始输入的值")
    trans_str: str = Field(description="翻译后的值")



# 自定义函数
functions = [
    {
        "name": "advertisement",
        "description": "一段广告词",
        "parameters": {
            "type": "object",
            "properties": {
                "goods": {"type": "string", "description": "要进行广告的产品"},
                "ads": {"type": "string", "description": "广告词"},
            },
            "required": ["goods", "ads"],
        },
    }
]



model = ChatOpenAI()
# 提示词模板
prompt = ChatPromptTemplate.from_template("出给一个关于 {goods} 的广告宣传语")
# 定义解析器
parser = PydanticOutputFunctionsParser(pydantic_schema=Advertisement)
# 调用函数
openai_functions = [convert_to_openai_function(Advertisement)]
# 创建调用链
chain_pydantic_parser = prompt | model.bind(functions=openai_functions) | parser
# 输出大模型执行结果
res_pydantic_parser = chain_pydantic_parser.invoke({"goods": "饮料"})
print(res_pydantic_parser)
print(type(res_pydantic_parser))

5.4、PydanticAttrOutputFunctionsParser

python 复制代码 
# 调用大模型
from langchain_core.output_parsers.openai_functions import PydanticOutputFunctionsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.utils.function_calling import convert_to_openai_function
from langchain_openai import ChatOpenAI
import os


from pydantic import BaseModel,Field

os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxxx"  # 将个人token替换到这个位置
os.environ["OPENAI_API_BASE"] = "xxxxxxxxxxxxx"

class Advertisement(BaseModel):
    origin_str: str = Field(description="原始输入的值")
    trans_str: str = Field(description="翻译后的值")



# 自定义函数
functions = [
    {
        "name": "advertisement",
        "description": "一段广告词",
        "parameters": {
            "type": "object",
            "properties": {
                "goods": {"type": "string", "description": "要进行广告的产品"},
                "ads": {"type": "string", "description": "广告词"},
            },
            "required": ["goods", "ads"],
        },
    }
]



model = ChatOpenAI()
# 提示词模板
prompt = ChatPromptTemplate.from_template("出给一个关于 {goods} 的广告宣传语")

print('---------------------------------PydanticAttrOutputFunctionsParser--------------------------------')


from langchain_core.output_parsers.openai_functions import PydanticAttrOutputFunctionsParser

# 定义 pydantic 参数输出解析器，传入 Pydantic 模型和需要输出的属性名
parser = PydanticAttrOutputFunctionsParser(pydantic_schema=Advertisement, attr_name='trans_str')
# 调用函数
openai_functions = [convert_to_openai_function(Advertisement)]
# 创建调用链 包含输出解析器
chain_pydantic_parser = prompt | model.bind(functions=openai_functions) | parser
# 传入参数执行
res_pydantic_parser = chain_pydantic_parser.invoke({"goods": "饮料"})
print(res_pydantic_parser)
print(type(res_pydantic_parser))
相关推荐
安迪小宝4 分钟前
python基础语法13-装饰器
开发语言·前端·python
大明哥_14 分钟前
【Coze 实战教程】- 手把手教你搭建第一个流程图！手把手教学，完全免费教程
人工智能
集成显卡15 分钟前
AI | 字节跳动 AI 中文IDE编辑器 Trae 初体验
ide·人工智能·vscode·编辑器
Niuguangshuo19 分钟前
Python设计模式：策略模式
python·设计模式·策略模式
Mysticbinary28 分钟前
Python 迭代器和生成器概念
python·迭代器·生成器
weixin_4578858229 分钟前
DeepSeek：AI如何重构搜索引擎时代的原创内容生态
人工智能·搜索引擎·ai·重构·deepseek
kaka.liulin -study29 分钟前
Multi Agents Collaboration OS：数据与知识协同构建数据工作流自动化
人工智能·python·深度学习·数据分析
newxtc32 分钟前
【中检在线-注册安全分析报告】
人工智能·安全·网易易盾·极验
红队it44 分钟前
【机器学习算法】基于python商品销量数据分析大屏可视化预测系统（完整系统源码+数据库+开发笔记+详细启动教程）✅
python·机器学习·数据分析
韩zj1 小时前
springboot调用python文件，python文件使用其他dat文件，适配windows和linux，以及docker环境的方案
windows·spring boot·python
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02我决定放弃搞 Java 了03DeepSeek各版本说明与优缺点分析04DeepSeek RAGFlow构建本地知识库系统05汽车上的各种质量：整备质量、总质量、装载质量、簧上质量、簧下质量06如何在WPS和Word/Excel中直接使用DeepSeek功能07从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑08生活电子常识--删除谷歌浏览器搜索记录09本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程10Nvidia Isaac Sim搭建仿真环境 入门教程 2024（4）