使用LangSmith来快速学习LangChain

好风凭借力，送我上青云！

什么是LangSmith

LangSmith is a platform for building production-grade LLM applications.
It lets you debug, test, evaluate, and monitor chains and intelligent agents built on any LLM framework and seamlessly integrates with LangChain, the go-to open source framework for building with LLMs.
LangSmith is developed by LangChain, the company behind the open source LangChain framework.

LangSmith 是一个用于构建生产级 LLM 应用程序的平台。它允许您调试、测试、评估和监控基于任何 LLM 框架构建的链和智能代理，并无缝集成 LangChain（用于构建 LLM 的首选开源框架）。 LangSmith 由 LangChain 开发，LangChain 是开源 LangChain 框架背后的公司。

LangSmith的目标很宏大，但是实际上还是处于早期阶段，目前最实用的功能还是调试、跟踪LangChain应用，但是单是这一项的价值都已经无可估量，可以大大缩减你学习LangChain的时间，提高用LangChain开发LLM应用的效率。

用LangChain来完成大语言模型的应用原型/代理很简单，但是，要交付实际的大语言应用异常困难：可能要大量定制、迭代Prompt、链和其他组件。LangSmith可以帮你快速调试链、代理或者一组工具，可视化各种组件（链、llms、检索器retrievers等）如何交互及使用，评估不同的Prompts等等。

注册与设置

注册

生成API Key

注意生成Key的时候就复制下来，后面丢了就只能重新生成。

设置环境变量

Linux用下面的命令设置环境变量：

bash 复制代码

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
export LANGCHAIN_API_KEY="<your-api-key>"
export LANGCHAIN_PROJECT="langchain_for_llm_application_development"

Windows可以用下面的命令：

bash 复制代码

setx LANGCHAIN_TRACING_V2 true
setx LANGCHAIN_ENDPOINT "https://api.smith.langchain.com"
setx LANGCHAIN_API_KEY <your-api-key>
setx LANGCHAIN_PROJECT langchain_for_llm_application_development

LANGCHAIN_TRACING_V2是设置LangChain是否开启日志跟踪模式。

LANGCHAIN_PROJECT 是要跟踪的项目名称，如果LangSmith平台上还没有这个项目，会自动创建。如果不设置这个环境变量，会把相关信息写到default项目。这里的项目不一定要跟你实际的项目一一对应，可以理解为分类或者标签。你只要在运行某个应用前改变这一项，就会把相关的日志写到这个下面。可以按开发、生产环境分，也可以按日期分等等。

LANGCHAIN_API_KEY就是上面生成的LangSmith的key。

设置好环境变量就可以了，代码无需任何变动！完全没有侵入性的感觉真好。当然，如果要较真的话，引入LangChain的时候代码就已经侵入了，但是我们本来就要用LangChain，那就不用管这个了。

使用

我们可以使用LangSmith调试：出乎意料的最终结果、代理为何一直在循环、链为何比预期慢、代理使用了多少个令牌等等。

我们来看一个RouterChain的例子（源码来自黄佳老师的课程）：

python 复制代码

'''欢迎来到LangChain实战课
https://time.geekbang.org/column/intro/100617601
作者 黄佳'''
import warnings
warnings.filterwarnings('ignore')

# 设置OpenAI API密钥
# import os
# os.environ["OPENAI_API_KEY"] = 'Your Key'
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # read local .env file
from langchain.chat_models import AzureChatOpenAI

# 构建两个场景的模板
flower_care_template = """
你是一个经验丰富的园丁，擅长解答关于养花育花的问题。
下面是需要你来回答的问题:
{input}
"""

flower_deco_template = """
你是一位网红插花大师，擅长解答关于鲜花装饰的问题。
下面是需要你来回答的问题:
{input}
"""

# 构建提示信息
prompt_infos = [
    {
        "key": "flower_care",
        "description": "适合回答关于鲜花护理的问题",
        "template": flower_care_template,
    },
    {
        "key": "flower_decoration",
        "description": "适合回答关于鲜花装饰的问题",
        "template": flower_deco_template,
    }
]

# 初始化语言模型
# from langchain.llms import OpenAI
# llm = OpenAI()
llm = AzureChatOpenAI(deployment_name="GPT-4", temperature=0)

# 构建目标链
from langchain.chains.llm import LLMChain
from langchain.prompts import PromptTemplate

chain_map = {}

for info in prompt_infos:
    prompt = PromptTemplate(
        template=info['template'],
        input_variables=["input"]
    )
    print("目标提示:\n", prompt)
    
    chain = LLMChain(
        llm=llm,
        prompt=prompt,
        verbose=True
    )
    chain_map[info["key"]] = chain

# 构建路由链
from langchain.chains.router.llm_router import LLMRouterChain, RouterOutputParser
from langchain.chains.router.multi_prompt_prompt import MULTI_PROMPT_ROUTER_TEMPLATE as RounterTemplate

destinations = [f"{p['key']}: {p['description']}" for p in prompt_infos]
router_template = RounterTemplate.format(destinations="\n".join(destinations))
print("路由模板:\n", router_template)

router_prompt = PromptTemplate(
    template=router_template,
    input_variables=["input"],
    output_parser=RouterOutputParser(),
)
print("路由提示:\n", router_prompt)

router_chain = LLMRouterChain.from_llm(
    llm,
    router_prompt,
    verbose=True
)

# 构建默认链
from langchain.chains import ConversationChain
default_chain = ConversationChain(
    llm=llm,
    output_key="text",
    verbose=True
)

# 构建多提示链
from langchain.chains.router import MultiPromptChain

chain = MultiPromptChain(
    router_chain=router_chain,
    destination_chains=chain_map,
    default_chain=default_chain,
    verbose=True
)

# 测试1
print(chain.run("如何为玫瑰浇水？"))

虽然黄佳老师加了很多print输出信息，但是代码的逻辑还是不容易看清楚。

查看运行情况

运行一次上面的程序，然后打开LangSmith，找到最近一次的运行：

从图中，我们可以很直观的看到LangChain组件的调用顺序（如果有用过微服务的Zipkin，对这个界面应该不陌生）、每一步耗费的时间、调用OpenAI消耗的Token数。

使用Playground

面向LLM编程，很多时候就是要迭代Prompt。在LangSmith里除了可以直接看到输入给LLM的Prompt和输出结果，更方便的是里面还集成了Playground，可以直接修改Prompt来看输出的结果。

点击上图右上角的Playground，进去后你会发现你调用LLM的各种参数、Prompt都帮你设置好了（OpenAI的Key还要设置，只保存在本地浏览器）。

这样，你就可以修改你的Prompt，重新运行，观察Prompt改变引起的结果变化。

在Playground里执行的过程会记录到"playground"这个项目。

添加到数据集

在查看运行情况的界面，点击右上角的"Add to Dataset"，可以把对应的输入、输出添加到数据集，后面大模型或者Prompt有了调整，可以用数据集来测试、评估。

Hub

LangSmith里面还有一个有趣的功能是Hub。在Hub里，可以发现、分享和对Prompt进行版本控制。Hub感觉是借用GitHub的概念，也可以叫PromptHub？

对别人分享出来的Prompt，你可以点爱心收藏（收藏了之后没找到相应的入口 😅），也可以Fork、试运行。

总的来说，LangSmith还处于快速开发的阶段（LangChain本身也才0.0.348版），某些功能还比较简陋。从另一方面来说，我们可以和它一起成长，更快速掌握LangChain，打造自己的LLM应用。

参考

LangSmith文档：docs.smith.langchain.com/