LangChain 开发LLM的框架

目录

1、简介

[2、LangChain 的主要价值](#2、LangChain 的主要价值)

3、模块

4、安装

[4.1 python 版本安装](#4.1 python 版本安装)

[4.2 TypeScript 版本安装](#4.2 TypeScript 版本安装)

[npm 安装](#npm 安装)

[yarn 安装](#yarn 安装)

[pnpm 安装](#pnpm 安装)

加载库

5、环境设置

6、构建一个应用程序

7、LLMs

8、提示模板

9、输出解析器

[10、LLMs + 提示模板 + 输出解析器](#10、LLMs + 提示模板 + 输出解析器)


1、简介

LangChain是一个用于开发由语言模型提供支持的应用程序的框架。它支持以下应用程序:

  • 上下文感知:将语言模型连接到其他上下文源(提示说明、少量示例、响应内容)
  • 推理:依靠语言模型进行推理(关于如何根据提供的上下文回答,采取什么行动等)

2、LangChain 的主要价值

  1. 组件:用于处理语言模型的抽象,以及每个抽象的实现集合。无论您是否使用LangChain框架的其余部分,组件是模块化的并且易于使用。
  2. 现成链:用于完成特定更高级别任务的组件的结构化组装。现成的链使入门变得容易。对于更复杂的应用程序和细微差别的用例,组件可以轻松定制现有链或构建新链。

目前LangChain 支持的变成语言版本有两种:

  • 针对LangChainJS/TS包的版本
  • 针对LangChain Python的版本

3、模块

LangChain为以下模块提供标准的、可扩展的接口和外部集成,从简单到复杂依次列出

  • Model I/O : 语言模型的接口​

  • ​​​​​​**Retrieval:**application-specific数据接口

  • **Chains:**构造调用序列

  • Agents: 让链选择使用给定高级指令的工具

  • **Memory:**在链的运行之间保持应用程序状态

  • **Callbacks:**记录和流式传输任何链的中间步骤

4、安装

4.1 python 版本安装

安装LangChain,请运行:

python 复制代码
pip install langchain

这将安装LangChain的最低要求。 LangChain的很多价值来自于与各种模型提供者、数据存储等的集成。 默认情况下,不安装执行此操作所需的依赖项。 然而,还有两种安装LangChain的方法会带来这些依赖项。

要安装常见LLM提供程序所需的模块,请运行:

python 复制代码
pip install langchain[llms]

要安装所有集成所需的所有模块,请运行:

python 复制代码
pip install langchain[all]

请注意,如果您使用zsh,则在将它们作为参数传递给命令时需要将方括号引起来,例如:

python 复制代码
pip install 'langchain[all]'

如果你想从源代码安装,你可以通过克隆repo来实现,并确保目录正在PATH/TO/REPO/langchain/libs/langchain运行:

python 复制代码
pip install -e .

4.2 TypeScript 版本安装

LangChain是用TypeScript编写的,可用于:

  • Node. js(ESM和Common JS)-18.x、19.x、20.x
  • Cloudflare Workers
  • Vercel / Next.js (Browser, Serverless and Edge functions)
  • Supabase Edge Functions
  • Browser
  • Deno
  • Bun

请使用以下命令进行安装:

npm 安装

bash 复制代码
npm install -S langchain

yarn 安装

bash 复制代码
yarn add langchain

pnpm 安装

bash 复制代码
pnpm add langchain

加载库

LangChain提供了针对Node. js环境的ESM构建。您可以使用以下语法导入它:

bash 复制代码
import { OpenAI } from "langchain/llms/openai";

如果您在ESM项目中使用TypeScript,我们建议更新您的tsconfig.json以包含以下内容:

bash 复制代码
{
  "compilerOptions": {
    ...
    "target": "ES2020", // or higher
    "module": "nodenext",
  }
}

LangChain提供了针对Node. js环境的Common JS构建。您可以使用以下语法导入它:

bash 复制代码
const { OpenAI } = require("langchain/llms/openai");

如果您在0.0.52之前从LangChain版本进行更新,则需要更新导入以使用新的路径结构。

之前的写法是:

bash 复制代码
import { OpenAI } from "langchain/llms";

现在需要更新为:

bash 复制代码
import { OpenAI } from "langchain/llms/openai";

这适用于以下6个模块的所有导入,这些模块已被拆分为每个接入的子模块。组合模块已弃用,在Node. js之外不起作用,将在未来版本中删除。

  • 如果您使用的是langchain/llms,请参阅LLMs以获取更新的导入路径。
  • 如果您使用的是langchain/chat_models,请参阅 Chat Models 以获取更新的导入路径。
  • 如果您使用的是langchain/embeddings,请参阅Embeddings 以获取更新的导入路径。
  • 如果您使用的是langchain/vectorstores,请参阅Vector Stores 以获取更新的导入路径。
  • 如果您使用的是langchain/document_loaders,请参阅Document Loaders 以获取更新的导入路径。
  • 如果您使用的是langchain/retrievers,请参阅Retrievers以获取更新的导入路径。

其他模块不受此更改的影响,您可以继续从同一路径导入它们。

此外,还需要一些突破性的更改来支持新环境:

  • import { Calculator } from "langchain/tools";现在移到
    • import { Calculator } from "langchain/tools/calculator";
  • import { loadLLM } from "langchain/llms";现在移到
    • import { loadLLM } from "langchain/llms/load";
  • import { loadAgent } from "langchain/agents";现在移到
    • import { loadAgent } from "langchain/agents/load";
  • import { loadPrompt } from "langchain/prompts";现在移到
    • import { loadPrompt } from "langchain/prompts/load";
  • import { loadChain } from "langchain/chains";现在移到
    • import { loadChain } from "langchain/chains/load";

5、环境设置

使用LangChain通常需要与一个或多个模型提供者、数据存储、API等集成。

访问他们的API需要一个API密钥,您可以通过创建一个帐户并在此标题获得该密钥。一旦我们有了密钥,我们希望通过运行以下命令将其设置为环境变量:

bash 复制代码
export OPENAI_API_KEY="..."

如果您不想设置环境变量,您可以在初始化OpenAI LLM类时通过openAIApiKey参数直接传递密钥:

bash 复制代码
import { OpenAI } from "langchain/llms/openai";

const llm = new OpenAI({
  openAIApiKey: "YOUR_KEY_HERE",
});

6、构建一个应用程序

现在我们可以开始构建我们的语言模型应用程序了,LangChain提供了许多可用于构建语言模型应用程序的模块,模块可以在简单的应用程序中作为独立的,也可以组合用于更复杂的用例。

LangChain帮助创建的最常见和最重要的链包含三件事:

  • LLM:语言模型是这里的核心推理引擎。为了使用LangChain,您需要了解不同类型的语言模型以及如何使用它们。
  • 提示模板:这为语言模型提供了指令,这控制了语言模型输出的内容,因此了解如何构造提示和不同的提示策略至关重要。
  • 输出解析器:它们将来自LLM的原始响应转换为更可行的格式,使其在输出目标端操作简单。

7、LLMs

有两种类型的语言模型,在LangChain中称为:

  • LLMs:这是一个语言模型,它接受一个字符串作为输入并返回一个字符串
  • ChatModels:这是一个语言模型,它将消息列表作为输入并返回消息

LLM的输入/输出简单易懂------一个字符串。但是ChatModels呢?输入是一个ChatMessage列表,输出是一个ChatMessageChatMessage有两个必需的组件:

  • content:这是消息的内容。
  • role:这是ChatMessage来自的实体的角色。

LangChain提供了几个对象来轻松区分不同的角色:

  • HumanMessage:来自人类/用户的ChatMessage
  • AIMessage:来自AI/助手的ChatMessage
  • SystemMessage:来自系统的ChatMessage
  • FunctionMessage:来自函数调用的ChatMessage

如果这些角色听起来都不对,还有一个ChatMessage类,您可以在其中手动指定角色。

LangChain为两者提供了一个标准接口,但是理解这种差异对于为给定的语言模型构建提示很有用。LangChain提供的标准接口有两种方法:

  • predict:接受一个字符串,返回一个字符串
  • predictMessages:接收消息列表,返回消息。

让我们看看如何使用这些不同类型的模型和这些不同类型的输入。首先,让我们导入LLM和ChatModel并调用predict

javascript 复制代码
import { OpenAI } from "langchain/llms/openai";
import { ChatOpenAI } from "langchain/chat_models/openai";

const llm = new OpenAI({
  temperature: 0.9,
});

const chatModel = new ChatOpenAI();

const text = "What would be a good company name for a company that makes colorful socks?";

const llmResult = await llm.predict(text);
/*
  "Feetful of Fun"
*/

const chatModelResult = await chatModel.predict(text);
/*
  "Socks O'Color"
*/

基本上OpenAIChatOpenAI对象只是配置对象,您可以使用温度等参数初始化它们,并传递它们。

接下来,让我们使用predictMessages方法来运行消息列表。

javascript 复制代码
import { HumanMessage } from "langchain/schema";

const text = "What would be a good company name for a company that makes colorful socks?";

const messages = [new HumanMessage({ content: text })];

const llmResult = await llm.predictMessages(messages);
/*
  AIMessage {
    content: "Feetful of Fun"
  }
*/

const chatModelResult = await chatModel.predictMessages(messages);
/*
  AIMessage {
    content: "Socks O'Color"  
  }
*/

对于这两种方法,您还可以传入参数作为关键字参数。例如,您可以传入temperature: 0来调整对象配置的temperature。在运行时传入的任何值都将始终覆盖对象配置的值。

temperature限制0-2,简而言之这个参数的效果就是越大,生成的结果越随机。

8、提示模板

大多数LLM应用程序不会将用户输入直接传递到LLM中。通常,它们会将用户输入添加到更大的文本中,称为提示模板,它为手头的特定任务提供了额外的上下文。

在前面的示例中,我们传递给模型的文本包含生成企业名称的指令。对于我们的应用程序,如果用户只需要提供公司/产品的描述,而不必给出模型指令,那就太好了。

PromptTemplate正是帮助了这一点!它们捆绑了从用户输入到完全格式化的提示的所有逻辑。这可以从非常简单的开始------例如,生成上述字符串的提示只需:

javascript 复制代码
import { PromptTemplate } from "langchain/prompts";

const prompt = PromptTemplate.fromTemplate("What is a good name for a company that makes {product}?");

const formattedPrompt = await prompt.format({
  product: "colorful socks",
});
/*
  "What is a good name for a company that makes colorful socks?"
*/

与原始字符串格式相比,使用这些有几个优点。您可以"部分"输出变量------例如,您一次只能格式化一些变量。您可以将它们组合在一起,轻松地将不同的模板组合成一个提示。

提示模板也可以用来生成消息列表。在这种情况下,提示不仅包含有关内容的信息,还包含每个消息(它的角色,它在列表中的位置等)。在这里,最常见的是ChatPromptTemplate是ChatMessageTemplates列表。每个ChatMessageTemplate都包含如何格式化ChatMessage的说明------它的角色,然后还有它的内容。让我们看看下面这个:

javascript 复制代码
import { ChatPromptTemplate } from "langchain/prompts";

const template = "You are a helpful assistant that translates {input_language} into {output_language}.";
const humanTemplate = "{text}";

const chatPrompt = ChatPromptTemplate.fromMessages([
  ["system", template],
  ["human", humanTemplate],
]);

const formattedChatPrompt = await chatPrompt.formatMessages({
  input_language: "English",
  output_language: "French",
  text: "I love programming.",
});

/*
  [
    SystemMessage {
      content: 'You are a helpful assistant that translates English into French.'
    },
    HumanMessage { content: 'I love programming.' }
  ]
*/

9、输出解析器

输出解析器将LLM的原始输出转换为目标端可以使用的格式。输出解析器的主要类型很少,包括:

  • 从LLM转换文本->结构化信息(例如JSON)
  • 将ChatMessage转换为字符串
  • 除了消息(如OpenAI函数调用)之外,将调用返回的额外信息转换为字符串。

在以下示例中,我们将编写自己的输出解析器-将逗号分隔的列表转换为列表的解析器。

javascript 复制代码
import { BaseOutputParser } from "langchain/schema/output_parser";

/**
 * Parse the output of an LLM call to a comma-separated list.
 */
class CommaSeparatedListOutputParser extends BaseOutputParser<string[]> {
  async parse(text: string): Promise<string[]> {
    return text.split(",").map((item) => item.trim());
  }
}

const parser = new CommaSeparatedListOutputParser();

const result = await parser.parse("hi, bye");
/* 
  ['hi', 'bye']
*/

10、LLMs + 提示模板 + 输出解析器

我们现在可以将所有这些组合成一条链。这条链将获取输入变量,将这些变量传递给提示模板以创建提示,将提示传递给语言模型,然后将输出传递给(可选的)输出解析器。这是捆绑模块化逻辑的便捷方法。让我们看看它的实际效果!

javascript 复制代码
import { ChatOpenAI } from "langchain/chat_models/openai";
import { ChatPromptTemplate } from "langchain/prompts";
import { BaseOutputParser } from "langchain/schema/output_parser";

/**
 * Parse the output of an LLM call to a comma-separated list.
 */
class CommaSeparatedListOutputParser extends BaseOutputParser<string[]> {
  async parse(text: string): Promise<string[]> {
    return text.split(",").map((item) => item.trim());
  }
}

const template = `You are a helpful assistant who generates comma separated lists.
A user will pass in a category, and you should generate 5 objects in that category in a comma separated list.
ONLY return a comma separated list, and nothing more.`;

const humanTemplate = "{text}";

/**
 * Chat prompt for generating comma-separated lists. It combines the system
 * template and the human template.
 */
const chatPrompt = ChatPromptTemplate.fromMessages(
  [
    ["system", template],
    ["human", humanTemplate],
  ]
);

const model = new ChatOpenAI({});
const parser = new CommaSeparatedListOutputParser();

const chain = chatPrompt.pipe(model).pipe(parser);

const result = await chain.invoke({
  text: "colors",
});

/*
  ["red", "blue", "green", "yellow", "orange"]
*/

请注意,我们正在使用.pipe()方法将这些组件连接在一起。这个.pipe()方法是LangChain表达式语言的一部分。

相关推荐
sunnf5 小时前
DB-GPT 智谱在线模型配置
gpt
云起无垠5 小时前
第79期 | GPTSecurity周报
gpt·aigc
鑫宝的学习笔记5 小时前
使用GPT进行SCI论文润色常用语句
gpt
热爱生活的五柒5 小时前
如何用gpt来分析链接里面的内容(比如分析论文链接)
gpt
that's boy16 小时前
突围边缘:OpenAI开源实时嵌入式API,AI触角延伸至微观世界
人工智能·gpt·chatgpt·开源·openai·midjourney
GPT祖弘18 小时前
【VScode】第三方GPT编程工具-CodeMoss安装教程
ide·vscode·gpt
haibo21441 天前
GPT-Omni 与 Mini-Omni2:创新与性能的结合
gpt
hunteritself1 天前
AI Weekly『12月16-22日』:OpenAI公布o3,谷歌发布首个推理模型,GitHub Copilot免费版上线!
人工智能·gpt·chatgpt·github·openai·copilot
bastgia1 天前
Tokenformer: 下一代Transformer架构
人工智能·机器学习·llm
新智元2 天前
李飞飞谢赛宁:多模态 LLM「空间大脑」觉醒,惊现世界模型雏形!
人工智能·llm