【LangChain系列 14】语言模型概述

本文速读

  • LLMs

  • 对话模型

LangChain集成了两种语言模型:

  • LLM:输入文本,返回文本

  • 对话模型:基于LLM,输入Message列表,返回一条Message

LLM和对话模型之间有着细微且重要的不同。在LangChain中,LLMs指的是纯文本补全模型,它的API封装是:将字符串prompt作为输入,然后返回一个字符串。GPT-3是作为一个LLM实现的,然后在它的基础上进行调整使其具有对话能力。GPT-4和Claude都是作为对话模型实现的。

在LangChain中,为了将LLMs和对话模型可以互换使用,它们都继承了 基础语言模型 接口,它包含一些公共方法,比如predict, predict messages。

01 LLMs


LLMs(Large Language Models )是LangChain在核心组件,LangChain并不服务于它自己的LLMs,而是提供标准接口来与不同的LLMs交互。

下面我们从OpenAI LLM开始吧。

  1. 安装openai
bash 复制代码
pip install openai
  1. 准备API key

注册好OpenAI的帐号后,可以在后台生成key。有两种方式使用API key,一种是通过环境变量的方式:

bash 复制代码
export OPENAI_API_KEY="..."

然后在代码中就不需要指定key了:

python 复制代码
from langchain.llms import OpenAI

llm = OpenAI()

另一种方式是直接在代码中指定:

python 复制代码
from langchain.llms import OpenAI

llm = OpenAI(openai_api_key="...")
  1. 使用LLM

最简单的方式是直接调用:

复制代码
llm("Tell me a joke")

'Why did the chicken cross the road?\n\nTo get to the other side.'

同时也支持批量调用:

复制代码
llm_result = llm.generate(["Tell me a joke", "Tell me a poem"]*15)

len(llm_result.generations)

30

查看结果:

python 复制代码
llm_result.generations[0]
python 复制代码
[Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side!'),
   Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side.')]
python 复制代码
llm_result.llm_output
bash 复制代码
  {'token_usage': {'completion_tokens': 3903,
    'total_tokens': 4023,
    'prompt_tokens': 120}
  }

02 对话模型


对话模型的底层是LLM,但是它的上层接口和LLM的还是有点不同。LLM的是"text in, text out"相关的API,对话模型接口的输入/输出是Message。

同样地,我们依然以OpenAI为例来介绍对话模型。

  1. 安装openai

    pip install openai

  2. 准备API key

和LLM的方法一致,也支持环境变量和代码中两种指定方式。

python 复制代码
from langchain.chat_models import ChatOpenAI

chat = ChatOpenAI(openai_api_key="...")
  1. 使用对话模型

最简单的使用方式就是传入一条或多条Message,然后返回一条Message.

python 复制代码
messages = [
    SystemMessage(content="You are a helpful assistant that translates English to French."),
    HumanMessage(content="I love programming.")
]
chat(messages)
python 复制代码
AIMessage(content="J'aime programmer.", additional_kwargs={})

同样地,对话模型也支持批量:

python 复制代码
batch_messages = [
    [
        SystemMessage(content="You are a helpful assistant that translates English to French."),
        HumanMessage(content="I love programming.")
    ],
    [
        SystemMessage(content="You are a helpful assistant that translates English to French."),
        HumanMessage(content="I love artificial intelligence.")
    ],
]
result = chat.generate(batch_messages)
result
python 复制代码
LLMResult(generations=[[ChatGeneration(text="J'aime programmer.", generation_info=None, message=AIMessage(content="J'aime programmer.", additional_kwargs={}))], [ChatGeneration(text="J'aime l'intelligence artificielle.", generation_info=None, message=AIMessage(content="J'aime l'intelligence artificielle.", additional_kwargs={}))]], llm_output={'token_usage': {'prompt_tokens': 57, 'completion_tokens': 20, 'total_tokens': 77}})

查看token信息:

python 复制代码
result.llm_output
bash 复制代码
{'token_usage': {'prompt_tokens': 57,
    'completion_tokens': 20,
    'total_tokens': 77}}

本文小结

LangChain集成了LLM和对话模型两类模型,两者上层接口的差别是:LLM是"text in, text out", 而对话模型是"message in, message out"。

公众号:大白爱爬山

相关推荐
Csvn3 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库4 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静4 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康5 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea5 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen6 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷6 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘6 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习