Langchain入门教程

1、框架介绍

LangChain 是一个用于构建大语言模型应用的开源框架，2022年10月作为开源项目推出，目前已经在开发社区颇具名气，构建起了自己的一片开发生态。

LangChain 在 2023 年 3 月获得了 Benchmark Capital 的 1000 万美元种子轮融资，在近期又拿到了红杉2000-2500万美金的融资，估值已经提升到了2亿美金左右。

它提供了一系列模块，这些模块可以组合在一起，用于创建复杂的应用程序，也可以单独用于简单的应用程序。它逻辑上主要有6大模块：Models、prompt、chains、agents、memory、indexes。

一个LangChain应用是通过很多个组件实现的，LangChain主要支持6种组件：

• Models：模型，各种类型的模型和模型集成，比如ChatGPT、ChatGLM、T5等大语言模型
• Prompts：提示，包括提示管理、自定义提示词。
• Agents：代理，决定模型采取哪些行动，执行并且观察流程，直到完成为止; 授予大模型对于外部工具的使用权限。
• Memory：记忆，用来保存和模型交互时的上下文状态
• Indexes：索引，用来结构化文档，以便和模型交互
• Chains：链，一系列对各种组件的调用

2、模块介绍

(1)、Agent

Agent 使用LLM来确定采取哪些行动以及顺序。 一个动作可以是使用工具并观察其输出，或返回给用户。

代理的灵活使用，可以增强大模型的能力。

例如，通过agent，我们可以赋予大模型 访问网络、访问数据库以及其他工具的能力。

from langchain.agents import initialize_agent,Tool
from langchain.llms import OpenAI
from langchain.tools import BaseTool
from agents.brand_search import BrandInfoSearchWrapper
import langchain

langchain.debug = True
from langchain.chat_models import ChatOpenAI

# llm = ChatOpenAI(temperature=0,model_name="gpt-3.5-turbo")
llm = ChatOpenAI(temperature=0,model_name="gpt-35-turbo-16k")
brand_serach = BrandInfoSearchWrapper(top_k=1,domain="zhihu.com")

tools = [
    Tool(
        name="BrandSearch",
        func=brand_serach.run,
        description="当问题中包含品牌信息是使用"
    )
    ]
agent = initialize_agent(
    tools, llm, agent="zero-shot-react-description", verbose=True)

# print("prompt",agent.agent.llm_chain.prompt.template)

print("问题：")
print("答案：" + agent.run("美宝莲这个品牌的化妆品在中国市场占有率如何？"))

• zero-shot-react-description：仅基于工具的描述来确定要使用的工具。可以提供任意数量的工具。此代理需要为每个工具提供描述。
• react-docstore：主要与文档存储进行交互。必须提供两个Search和Lookup 工具。Search工具用于搜索文档，而Lookup工具应该查找最近找到的文档中的一个术语。
• self-ask-with-search：基于搜索引擎查找问题的答案。必须提供了Google搜索API作为工具。

(2)、Memory

LLMs本身是无状态的，对于连续的提问，大语言模型会独立地处理每个传入的查询。在某些应用程序中（聊天机器人是一个很好的例子），记住以前的交互非常重要，无论是在短期还是长期层面上。Memory模块主要用于存储历史的交互记录。

常用模式：

• 将历史消息交互列表，在下一次提问时，作为上下文信息。
• 将历史消息交互列，构建向量存储在VectorDB中，并在每次调用时查询最重要的K个文档。不明确跟踪交互的顺序。

langchain 提供多种组件完成交互记忆的存储：

• (a)、ConversationBufferMemory

  该组件类似我们上面的描述，只不过它会将聊天内容记录在内存中，而不需要每次再手动拼接聊天记录。

• (b)、ConversationBufferWindowMemory

  相比较第一个记忆组件，该组件增加了一个窗口参数，会保存最近看 k 论的聊天内容。

• (c)、ConversationTokenBufferMemory

  在内存中保留最近交互的缓冲区，并使用 token 长度而不是交互次数来确定何时刷新交互。

• (d)、ConversationSummaryMemory

  相比第一个记忆组件，该组件只会存储一个用户和机器人之间的聊天内容的摘要。

• (e)、ConversationSummaryBufferMemory

  结合了上面两个思路，存储一个用户和机器人之间的聊天内容的摘要并使用 token 长度来确定何时刷新交互。

• (g)、VectorStoreRetrieverMemory

  它是将所有之前的对话通过向量的方式存储到 VectorDB（向量数据库）中，在每一轮新的对话中，会根据用户的输入信息，匹配向量数据库中最相似的 K 组对话。

(3)、Indexes

索引应用于知识库文档的构建和检索，以便 LLM 可以最好地获取问题相关的背景知识。

主要步骤：

• 文档加载
• 文字分割
• 构建 Embedding
• 向量存储

langchain 生态提供了多种向量库的接入方式：

• AnalyticDB
• Annoy
• AtlasDB
• Chroma
• Deep Lake
• ElasticSearch
• FAISS
• LanceDB
• Milvus
• MyScale
• OpenSearch
• PGVector
• Pinecone
• Qdrant
• Redis
• SupabaseVectorStore
• Tair
• Weaviate
• Zilliz

(4)、Chains

使用单独的LLM对于一些简单的应用程序来说是可以的，但许多更复杂的应用程序往往难以获得满意的效果。

链允许我们将多个组件组合在一起，每个组件只完成目标明确的某一项操作，然后将格式化后的响应传递给 下一个组件，从而来构建更复杂的应用。

代码示例：

# location 链
from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(temperature=1,model_name="gpt-35-turbo-16k")
template = """你的工作是根据用户的城市，推荐一道该地区的经典菜肴。
%用户城市
{user_location}

你的答案:
"""
prompt_template = PromptTemplate(input_variables=["user_location"], template=template)
location_chain = LLMChain(llm=llm, prompt=prompt_template)

# meal 链
template = """给你一道菜，就如何在家做这道菜给出一个简短而简单的食谱。
%菜名
{user_meal}

YOUR RESPONSE:
"""
prompt_template = PromptTemplate(input_variables=["user_meal"], template=template)
meal_chain = LLMChain(llm=llm, prompt=prompt_template)

# 通过 SimpleSequentialChain 串联起来，第一个答案会被替换第二个中的user_meal，然后再进行询问
overall_chain = SimpleSequentialChain(chains=[location_chain, meal_chain], verbose=True)
review = overall_chain.run("北京")

大模型输出结果：

> Entering new SimpleSequentialChain chain...

北京的经典菜肴是炸酱面。炸酱面是北京传统的面食之一，以酱肉和面条为主要材料。这道菜肴以面条爽滑细嫩，配上浓郁的酱料和加入的豆腐丁、黄瓜丝、大葱丝等配料，口感丰富，味道独特。炸酱面在北京有悠久的历史，是一道代表北京美食文化的经典菜肴。
炸酱面的制作方法如下：

材料：
- 面条
- 猪肉末
- 韩式豆瓣酱
- 豆腐丁
- 黄瓜丝
- 大葱丝
- 生抽
- 酱油
- 糖
- 盐
- 食用油

步骤：
1. 将猪肉末放入炒锅中炒熟。
2. 加入适量的韩式豆瓣酱继续炒煮几分钟，使酱料更加香味浓郁。
3. 加入少许生抽、酱油、糖和盐，调成酱料。
4. 煮开水，将面条煮熟后捞出备用。
5. 在炸锅中倒入适量的食用油，将豆腐丁炸熟。
6. 将煮熟的面条放在碗中，加入炸好的豆腐丁、黄瓜丝和大葱丝。
7. 倒入准备好的酱料，搅拌均匀即可。
炸酱面制作完成，可以根据个人口味加入适量的辣椒油或花生碎增添口感。

> Finished chain.

Langchain提供的链式处理模式：

• SimpleSequentialChain: 顺序链的最简单形式，其中每个步骤都有一个单一的输入/输出，并且一个步骤的输出是下一步的输入。
• SequentialChain: 相比 SimpleSequentialChain 只允许有单个输入输出，它是一种更通用的顺序链形式，允许多个输入/输出。
• TransformChain: 转换链允许我们创建一个自定义的转换函数来处理输入，将处理后的结果用作下一个链的输入。

示例代码：

# 转换链：输入变量：text，输出变量：output_text
transform_chain = TransformChain(
    input_variables=["text"], output_variables=["output_text"], transform=transform_func
)

# 使用顺序链
sequential_chain = SimpleSequentialChain(chains=[transform_chain, llm_chain])
# 开始执行
sequential_chain.run(state_of_the_union)
# 结果

3、Function calling

ChatGPT 提供了Function calling功能，这个功能方便我们更加简单的构建大模型处理链。

functions的格式是一个json数组，每一个json是一个函数，包含：

• name：函数名，
• description：描述，
• parameters参数，
• param_description:参数描述。
• required 需要的参数。

示例代码：

response = openai.ChatCompletion.create(
            messages=[
                {"role": "system", "content": "你是电商领域营销专家"},
                {"role": "user", "content": prompt}
            ],
            temperature=0,
            stream=False,
            headers=headers,
            # max_tokens=2048,
            # top_p=1,
            functions = [{
                "name":"brand_parse",
                "description":"给出品牌分析",
                "parameters":{
                "type":"object",
                "properties":{
                    "brand_name":{"type":"string","description":"分析的品牌名称"},
                    "value1":{"type":"string","description":"一段话描述品牌知名度,如果不了解请输入:无法给出评价"},
                    "value2":{"type":"string","description":"一段话描述品牌影响力,如果不了解请输入:无法给出评价"},
                    "value3":{"type":"string","description":"一段话描述品牌市场规模,如果不了解请输入:无法给出评价"},
                    "value4":{"type":"string","description":"一段话描述品牌调性,如果不了解请输入:无法给出评价"},
                    "value5":{"type":"string","description":"一段话描述产品风格,如果不了解请输入:无法给出评价"},
                    "value6":{"type":"string","description":"一段话描述品牌受众,如果不了解请输入:无法给出评价"}
                    },
                "required":["value1","value2","value3","value4","value5","value6"],
                },
            }],
            function_call={"name":"brand_parse"}
    )

输出结果：

{
"value1": "皮尔卡丹是一个非常知名的品牌，几乎每个人都听说过它。",
"value2": "皮尔卡丹在时尚界有很大的影响力，它的设计风格独特且受到广泛认可。",
"value3": "皮尔卡丹在连衣裙类目领域市场规模很大，是该领域的领导者之一。",
"value4": "皮尔卡丹的调性时尚、优雅，给人一种高贵大气的感觉。",
"value5": "皮尔卡丹的产品风格时尚、简约，注重细节和质感。",
"value6": "皮尔卡丹的受众主要是年轻女性，他们注重时尚和品质。"
}