LangChain 适配 ChatGLM - zhipu API

前言

前段时间智谱AI推出了新一代LLM-GLM4，随之而来智谱AI发布了新版本API SDKv4

由于最近我在自研自己的智能摘要平台，除了OpenAI，想着也能接入我们自己国产大模型之光GLM，一个调用方便，一个是为了降低Token成本🤭。GLM4和GLM3-turbo经过Prompt实测能达到我们智能摘要要求 （这项测试后面再进行分享）。

接下来就是要集成进应用，目前大模型的应用开发框架，Langchain无疑是最热的一个。 LangChain经过23年一年的开发，1月初发布了v0.1.0第一个稳定版本，将Langchain划分为三块

• LangChain
• LangChain-Community
• LangChain-Core

目前第三方实现，都集中在LangChain-Community这个库中，马上我就搜索了一下有没有ZhipuAI这个第三方实现，一看还真有 Zhipu AI

一. 问题

根据文档，编写测试代码操作

from langchain_community.chat_models import ChatZhipuAI

model = ChatZhipuAI(
    model="chatglm_turbo",
    api_key="xxxx",
)

print(model.invoke("hello, what today is today?"))

测试发现报错

发现缺少了model_api，联想到Zhipu AI发布了新的API v4版本新SDK，我猜测应该是LangChain-Community上面的ChatZhipuAI适配的应该是v3版本的SDK

验证猜测

查看LangChain源码

# file: langchain_community/chat_models/zhipuai.py

def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        try:
            import zhipuai

            self.zhipuai = zhipuai
            self.zhipuai.api_key = self.zhipuai_api_key
        except ImportError:
            raise RuntimeError(
                "Could not import zhipuai package. "
                "Please install it via 'pip install zhipuai'"
            )

这里发现导入zhipuai这个库，再看一下zhipuai这个库PyPi文档

这里发现新版本zhipuai最新是2.0.1版本，调用方法和都已经发生了变化，明显是2.0版本不再兼容之前的1.0版本了，所以LangChain上的ChatZhipuAI 不能用了，要想使用只能自己动手适配🔧。

为了提高大家的排错效率，避免重复踩坑，我也给LangChain提了issue （开源自觉）

注：啰嗦介绍了背景和问题一大堆，其实也是给大家提供一个发现问题定位问题的一个思路😊

二. 适配

LangChain框架对底层的LLM已经封装好了，我们自定义的ChatModel只要继承BaseChatModel,实现相关抽象方法即可。

class BaseChatModel(BaseLanguageModel[BaseMessage], ABC):
    ...
    @abstractmethod
    def _generate(
        self,
        messages: List[BaseMessage],
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        **kwargs: Any,
    ) -> ChatResult:
        """Top Level call"""
    @property
    @abstractmethod
    def _llm_type(self) -> str:
        """Return type of chat model."""

有个好的建议，我们可以参考Langchain很多已实现的库，如ChatOpenAI。接下来就实现我们的ChatZhipuAI

class ChatZhipuAI(BaseChatModel):
    ...
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        try:
            from zhipuai import ZhipuAI

            if not is_zhipu_v2():
                raise RuntimeError(
                    "zhipuai package version is too low"
                    "Please install it via 'pip install --upgrade zhipuai'"
                )

            self.client = ZhipuAI(
                api_key=self.zhipuai_api_key,  # 填写您的 APIKey
            )
        except ImportError:
            raise RuntimeError(
                "Could not import zhipuai package. "
                "Please install it via 'pip install zhipuai'"
            )
     def _generate(
        self,
        messages: List[BaseMessage],
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        stream: Optional[bool] = None,
        **kwargs: Any,
    ) -> ChatResult:
        """Generate a chat response."""

        should_stream = stream if stream is not None else self.streaming
        if should_stream:
            stream_iter = self._stream(
                messages, stop=stop, run_manager=run_manager, **kwargs
            )
            return generate_from_stream(stream_iter)

        message_dicts, params = self._create_message_dicts(messages, stop)
        params = {
            **params,
            **({"stream": stream} if stream is not None else {}),
            **kwargs,
        }
        response = self.completion_with_retry(
            messages=message_dicts, run_manager=run_manager, **params
        )
        return self._create_chat_result(response)

这里在__init__的时候，加了一个V2版本的判断，剩下就是实现_generate方法。Langchain支持同步异步、流式、批量等等多种操作，我们根据zhipuai SDK说明和Langchain库一一实现即可。（详细代码我后面有介绍）

测试验证

from langchain_community.chat_models import ChatZhipuAI

zhipuai_chat = ChatZhipuAI(
    temperature=0.5,
    api_key="your-api-key",
    model_name="glm-3-turbo",
)

print(model.invoke("hello, what today is today?"))

成功～🎉

三. 提交LangChain

在经过项目测试使用后， 我想将相关代码贡献到LangChain社区，贡献方法参考 贡献说明

第三方代码主要参考Contribute Integrations, 按照要求编写好代码、单元测试、Doc 提交PR吧～

完整PR链接（包含完整代码）：github.com/langchain-a...

问题

在提交进行流水线检查时，发现单元测试没过，仔细检查发现原来遇到了版本冲突

Because no versions of zhipuai match >2.0.1,<3.0.0 and zhipuai (2.0.1) depends on pydantic (>=2.5.2), zhipuai (>=2.0.1,<3.0.0) requires pydantic (>=2.5.2). And because javelin-sdk (0.1.8) depends on pydantic (>=1.10.7,<2.0.0) and no versions of javelin-sdk match >0.1.8,<0.2.0, zhipuai (>=2.0.1,<3.0.0) is incompatible with javelin-sdk (>=0.1.8,<0.2.0). So, because langchain-community depends on both javelin-sdk (^0.1.8) and zhipuai (^2.0.1), version solving failed.

这是由于zhipuai 依赖的pydantic版本太高和Langchain中集成的三方库有版本依赖冲突。 LangChain推荐采用pydantic 1.0+。

同时顺手也给zhipuai API SDK提了一个issue 😊

最后

截止发文前，版本依赖冲突还没有解决，观察后续的进展，有需要的同学可以自己先自定义本地集成进项目。

---

目前我正在制作研发的开源智能摘要应用-帝阅DeepRead，支持ChatGPT、ChatGLM，即将上线 这是一款主打智能摘要的应用，目标是成为你的智能侍读助理，帮助你提升阅读效率，归纳收集各类好文

支持微信公众号、知乎、今日头条、小红书、bilibili专栏等主流平台的文章

后续还会拓展各类视频平台，通过AI带来全新的知识阅读体验

➕关注我，产品上线后，欢迎大家体验品鉴～