本文分享自华为云社区《【云驻共创】LangChain＋ChatGLM3实现本地知识库，转华为云ModelArts，实现大模型AI应用开发》，作者：叶一一。

一、前言

本期华为云的讲师是华为云EI开发生态的工程师杰森，分享主题是：基于LangChain＋ChatGLM3的本地知识库问答。

现如今，大语言模型发展到达了一个新高度，其应用场景也是适用于千行百业。而华为云EI更是具备了全栈AI能力，其提供的ModelArts是一站式AI开发平台，可帮助开发者智能、高效地创建AI模型和一键模型部署到云、边、端。

本文内容主要为对讲师的精彩分享内容梳理以及结合笔者对ModelArts的实际业务场景应用经验的概括。

阅读本文将有以下收获：

了解华为云ModelArts的AI能力；
了解LangChain的基本使用；
了解如何结合ChatGLM3实现本地知识库的问答。

二、基于LangChain＋ChatGLM3实现本地知识库问答

2.1 大模型的发展历程

2.1.1 ChatGPT

2022年1月30日，0penAl发布了ChatGPT。这是一个基于大语言模型（LLM）的对话机器人（Chat Bot)，它的定位是一个AI助手，可以回答通识性和专业领域的各种问题（包括编码相关问题），支持中英文在内的多语言，且支持多轮对话。

ChatGPT自发布以来已经十分火热，短短的2个月，月活已经破亿，远超于TikTok等一些应用。

2.1.2 什么是大模型？

大模型，简单来说就是预训练时参数规模达到一定量级的模型。

常见的大模型主要包括：大语言模型，CV大模型，多模态大模型，科学计算大模型等。

多模态大模型是指通过文字生成图片或视频的大模型。科学计算大模型，比如气象类、药物分子结构等的大模型。

最早，大模型在2019年，谷歌发明了T5大模型。当时它的参数规模就已经十分庞大了。

紧接着，2020年，推出了GPT-3，GPT-3在以文生成图片上崭露头角。

再往下，各个企业发布了各种各样的大模型。其中最重要的是2022年的ChatGPT以及2023年的ChatGPT-4。

这些大模型已经能够解决日常大量的问题，帮助我们快速的完成很多的事情。比如，通过大语言模型，可以实现语言翻译、情感分析等。

同时，大模型依赖大量的数据和对应的参数来进行调整训练出来的。随着大模型的不断发展，它所拥有的对应数据和参数，往往会更多。而且随着我们的当前科学技术的发展，它的性能提升从而使它的功能更加强大。

虽然，大模型在训练的时候，用到的是它在发布之前用到的数据，比如ChatGPT，它是在2022年发布的，它可能没有2023年的知识，但是它可以通过外挂一些常见的数据集、数据库，从而实现不断的微调学习，从而进一步的提升自己知识更新的及时性，不和世界脱轨。

2.1.3 如何开发大模型？

以大语言模型训练过程为例。

首先做一系列数据的采集，采集过程中，需要大量的数据。常见的比如网上的电子书、论坛帖子、GitHub上的代码。

然后，开始大语言模型的训练，在训练的过程中，需要选择合适的训练算法。比如Transformers、DeepSpeed、Megatron-LM等。

有了算法，我们想要把大量数据运用起来，还需要充足的算力。光GPT-3语言模型训练使用了10万个GPU,

耗费了大概100 PFLOPS的算力。

再有了这些数据的准备、合适的算法、充足的算力之后，我们就正式的对应训练。

训练用简单的语言来说，就是使大语言模型能够根据输入的指令生成对应的答案的能力。

训练出来的就是一个简单的预训练的模型。它能够实现一些基本的能力，再往下我们还会做一些指令的微调。

指令微调，是指它能够适配各种各样的复杂的任务。比如下达一条写一部小说的指令，它可能会问你需要写什么的风格的小说、主角的特点等等一系列问题。然后再基于这些问题，把小说写出来。

再往后，需要进行类人对齐，简单理解是指使模型生成更加贴近人类习惯的文本内容。

2.2 华为云全栈AI能力

2.2.1 华为云EI: 全栈全场景产品&服务，助力千行百业智能升级

华为云EI提供全栈全场景产品&服务，助力千行百业智能升级。

首先，华为云EI以Ascend系列GPU和Kunpeng系列GPU等多元算力作为底座。

往上是，提供自研的MindSpore AI开发框架，同时也支持市面上的TensorFlow、PyTorch、Ray、DeepStream、 MediaPipe等AI开发框架。

有了算力和框架，再往上华为云EI提供对应的AI开发平台------ModelArts，ModelArts就能够完成从数据的标注、处理到模型的训练，也包括大模型的训练，到最后的评估、生成以及部署和监测。

在训练过程中，如果有海量的数据，尤其像大模型有大量的数据，可以使用华为云的数据生产线 DataArts，DataArts提供了云数据仓库和数据治理中心，能够做海量数据的管理。

完成了AI通用开发之后，如果不想做底层的AI开发，华为云提供了AI通用能力。比如OCR、SIS、NLP等通用AI。也包括华为云的盘古大模型，它提供了多种大规模模型部署、开发、推理形式。另外还有天筹AI求解器，更多的是被应用于商用的AI生成。

有了通用的AI能力，就能应用到具体的行业/场景，比如政务、银行、生物制药、AIGC等领域。

在整体AI应用的开发中，我们可能还需要数据集、工具包、算法、模型等等，这些可以从华为云生态社区 AI Gallery中找到。也可以在 AI Gallery发布数据集等，让其他的开发者看到（使用），或者更进一步的商业变现。

2.2.2 ModelArts架构简介

AI开发平台ModelArts，是一个构筑全栈全生命周期的模型开发工具链。

ModelArts依赖昇腾/GPU和鲲鹏/CPU的算力，包括发调试框架、训练框架、推理框架，能够实现算力调度的管理。在此基础上，它能灵活的分配集群CPU，进行所有应用的开发，从数据的标注、数据处理、模型训练的全流程的打通。

ModelArts提供数据管理能力，支持多种类型的标注任务，提供多种多样的开发环境、模型训练和部署推理。实现了一个一站式的AI开发。

ModelArts针对大模型，提供了开发工具链，以及场景化的开发对应的工具链。

ModelArts能够帮助开发者快速实现对于端到端的开发，同时也支持把常见页面主流的算法使用昇腾GPU实现迁移。

2.2.3 端到端AI开发流程

AI应用的开发，往往是以一个流水线的方式能够持续集成和交付。

以猫狗检测为例，开发者需要准备一些猫和狗的图片，输入到分析模型中，最终分别出图片上哪些是猫、哪些是狗。

基于这种场景，首先需要把收集到的图片进行标注。标注完成之后，上传到ModelArts平台，选择对应的算法进行训练。训练的过程，就是使模型能够基于当前的数据结构总结出规律，从而降低模型识别的损失度，提升模型的精度。完成训练之后，得到对应的模型。

模型评估是为了提升模型识别的准确度，为了能够满足开发者的要求。完成评估之后，需要部署到具体的设备上。

后续，可以通过摄像头捕捉到猫或者狗的图片，传入到模型中，然后通过模型实时的判断出当前图片中的动物是猫还是狗。

最后识别出来的结果，还是会回流到最开始的数据管理中，从而不断的扩充数据库。再进一步不断的迭代，提升模型训练的精度。这就是一个流水线的方式集成和交付的概念。

2.2.4 数据管理：AI数据框架，百倍提升数据处理效率

ModelArts的数据管理，提供了常见的数据标注框架，支持多种数据标注，像常见的物体、音频、文本等。

ModelArts还支持进行团队标注，像我们日常的AI应用的开发，需要成百上千张图片，可能需要一张张进行标注。如果有多个人共同来标注一个数据集，也能提升标注的速率。

假设现在有一个1000张数据集的图片，只需要标注前面的50张即可，后续ModelArts会根据前面标注的图像的规律，采用算法，智能的把剩余的图片进行标注。之后，我们只需要做简单的检查即可。从而大大降低人工标注耗费的时间。

2.2.5 模型训练：自动学习ExML引擎，帮助初学者"零" 基础搞定五种场景

ModelArts内置了常见的算法，像图像分类、物体检测、预测分析、声音分类、文本分类等。

基于这些算法，只需要开发者把标注好的数据上传到ModelArts平台，ModelArts可以一键启动AI模型训练，并进行对应的模型验证和上传服务。

从而实现零代码、零AI的开发。

2.2.6 模型训练：训练作业提供大量的预置模型进行迁移学习，简化模型创建

当前，ModelArts平台已经有60+预置模型，主要覆盖：图像分类、图像语义分割、物体检测与定位、强化学习、文本、语音等场景。

这些模型都是基于开源或行业数据集所构造的，而且它的精度和速度都是有一定的保证的。也支持开发者自行编写的代码。

在有了模型之后，ModelArts提供了一键训练。快速的将模型进行训练，实现整体的模型打通。

2.2.7 华为云ModelArts CodeLab，让AI探索&教学更简单

开发者如果觉得ModelArts提供的算法不够优秀，华为云还提供了ModelArts CodeLab的方式。从而实现开发者在云端上直接进行AI应用的开发。

CodeLab可以理解为云上的编译器，它的好处在于直接连上云端的算力，而且每天提供免费算力资源的时间，支持即开即用。

CodeLab发布了丰富的案例，案例支持一键运行，还支持把自己写的案例分享到AI Gallery，供其他开发者学习和了解。

CodeLab还支持通过本地IDE+ModelArts插件远程开发。

2.2.8 模型部署：端、边、云全场景AI部署

完成AI应用的开发和训练之后，我们会把模型进行部署。ModelArts平台提供了端、边、云全场景AI部署能力。

首先，在部署之前，ModelArts提供了快速应用AI测试的环境，能够帮助开发者快速看到模型运行的效果。并且能够部署到端、边等各种设备，提升推理运行性能。

2.2.9 WorkFlow工作流：降低端到端AI开发门槛

ModelArts还提供了WorkFlow工作流，它可以降低端到端AI开发门槛。

整体AI应用的开发是一个流水线的形式，WorkFlow可以把这个流水线合成一个工作流的形式，作为一体。

WorkFlow工作流分为开发态和运行态。

开发过程中，通过Python SDK低代码编排，把工作流串起来。完成配置之后，基于自己的SDK进行调试。这样做最大的好处在于，通过组件复用，减少代码量，进而提升效率。

在运行态，可视化的操作界面，降低使用门槛。同时支持多种多样的评估可视化，帮助理解模型效果。

同时，它可以发布到AI Gallery社区，供其他开发者学习。

2.3 基于LangChain＋ChatGLM3的本地知识库问答

2.3.1 ChatGLM3介绍

ChatGLM3是一个基于Transformer的预训练语言模型，由清华大学KEG实验室和智谱AI公司于2023年共同训练。

基本原理：将大量无标签文本数据进行预训练，然后将其用于各种下游任务，例如文本分类，命名实体识别，情感分析等。

ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性。

在int4精度下，只需要13GB的显存即可流畅运行ChatGLM3-6B。

2.3.2 LangChain介绍

LangChain是一个开源框架，允许从事人工智能的开发者将例如GPT-4的大语言模型与外部计算和数据来源结

合起来。该框架目前以Python或JavaScript包的形式提供。

LangChain目前由六大部分组成：Models模型、Indexs索引、Prompts提示词、Chains链、Memory记忆、Agents代理。本期着重介绍前面四个部分，Memory记忆主要用来使我们的大语言模型在多轮对话中有更好的记忆效果。Agents代理更多的做一些个人助理的应用，比如当大语言模型无法解决问题，可以通过它从百度等搜索引擎获取答案。

LangChain的优势：

提供了统一的LLM的接口和使用；
快速将本地知识导入到大语言模型使用；
将连续多次任务的关键词进行存储，让大模型具有"记忆"。

2.3.3 开源大模型体验官课程介绍

本次开源大模型体验官课程基于华为云一站式AI开发平台ModelArts，使用云端算力快速实现大模型的调用，并基

于大语言模型开发框架-LangChain,实现LangChain+ChatGLM3的本地知识库问答。

2.3.4 LangChain组件介绍--Models

Models主要的作用是对模型的输入和输出进行处理，从而使输入符合大语言模型的调用方式，输出更加符合想要的效果。

在LangChain中加载ChatGLM3模型，配置如下：

首先新建一个类，这类继承langchain.llms.base.LLM类；
然后定义一个__llm__type方法，通过@property装饰器将该方法转为【只读属性】；
重写__call方法：加载自己的模型，并限制只输出结果。

2.3.5 LangChain组件介绍--Prompts

Prompts是大语言模型的提示模版，它是生成语言模型提示的预定义配方。

大语言模型的输入不同，输入的效果也会截然不同，Prompts常用的提示词技术如下：

少量描述的提示词：直接输入问题让大语言模型进行回答。
少样本的提示词：不直接进行提问，给出样例，让大语言模型进行学习之后再进行回答。
思维链的提示词：给大语言模型一个思考的过程，让大语言模思考答案是否正确，大语言模型给正确的结果。

2.3.6 LangChain组件介绍--Indexs

由于大型语言模型（LLMs)存在数据实时性的问题，它们只知道通过它们的训练数据所呈现的世界。

因此我们可以将最新的一些知识文档添加到LLMs中，来补充LLMs模型的知识。

在langChain中进行外部数据检索，一般按照如下流程实现：

基于langChain.document_loaders下的加载类进行文件加载；
基于langChain.text_splitter对加载后的文件进行分割，以便传入大语言模型；
将分割后的文档转成嵌入向量，然后存储到向量数据库；
基于向量的余弦相以度来进行检索。

2.3.7 LangChain组件介绍--Chains

LangChain通过Chains组件实现前面提到的Models、Prompts、Indexs等组件的链接，进行更复杂的功能开发。

Chains又名链，链的作用就是将各个组件合到一起。LangChain中有很多已有的链，例如：LLMChain、SequentialChain（顺序链）、ConversationChain（对话链）、RetrievalQA（检索型问答）、ConversationalRetrievalChain（对话式检索问答）。

通过RetrievalQA实现基于本地知识库的问答，实现流程如下：