Langchain+LLM

LangChain是一个开源框架 ,允许开发人员在与人工智能(AI)一起工作时将大型语言模型(如GPT4)与外部计算和数据源相结合(它提供了一套工具、组件和接口,可简化创建由LLM提供支持的应用程序)。该框架目前提供Python和Js两种版本。

Langchain的核心模块如下:

  • Modules:支持的模型类型和集成,如:openai,huggingface等;
  • Prompt:提示词管理、优化和序列化,支持各种自定义模板;
  • Memory:内存管理(在链/代理调用之间持续存在的状态);
  • Indexes:索引管理,方便加载、查询和更新外部数据;
  • Agents:代理,是一个链,可以决定和执行操作,并观察结果,直到指令完成;
  • Callbacks:回调,允许记录和流式传输任何链的中间步骤,方便观察、调试和评估。

到目前为止,我们都知道ChatGPT(GPT4)拥有令人印象深刻的广泛知识,我们几乎可以询问任何问题,都能得到相当不错的答案。假设想从自己的数据、自己的文档中获取特定的信息,这可能是一本书、一个PDF文件、一个带有专有信息的数据库,LangChain允许我们连接像GPT4这样的大型语言模型到自己的数据源中。这里我们不是指将文本文档的片段粘贴到ChatGPT中,而是将LLM指引到我们自己的数据源。

Langchain+LLM为无数的实际应用打开了大门,我们可以将其与数据分析领域中的数据相连接,通过LLM为我们分析数据,给出我们想要的答案。

下面是一个ChatGLM+Langchain的项目:https://github.com/chatchat-space/Langchain-Chatchat

项目实现原理如下图所示,过程包括:加载文件 > 读取文本 > 文本分割 > 文本向量化 > 问句向量化 > 在文本向量中匹配出与问句向量最相似的 top k个 > 匹配出的文本作为上下文和问题一起添加到prompt中 > 提交给 LLM生成回答。

从文档处理角度来看,实现流程如下:

相关推荐
Langchain9 小时前
不可错过!CMU最新《生成式人工智能大模型》课程:从文本、图像到多模态大模型
人工智能·自然语言处理·langchain·大模型·llm·大语言模型·多模态大模型
我爱学Python!2 天前
基于 LangChain 的自动化测试用例的生成与执行
人工智能·自然语言处理·langchain·自动化·llm·测试用例·大语言模型
贪玩懒悦3 天前
用langchain+streamlit应用RAG实现个人知识库助手搭建
人工智能·ai·语言模型·langchain·aigc
AI-智能3 天前
《开源大模型食用指南》,一杯奶茶速通大模型!新增Examples最佳实践!
人工智能·自然语言处理·langchain·开源·prompt·ai大模型
AI知识分享官6 天前
大模型增量训练--基于transformer制作一个大模型聊天机器人
人工智能·深度学习·算法·数据挖掘·langchain·机器人·transformer
weijie.zwj8 天前
LLM基础概念:Prompt
人工智能·python·langchain
玩转AI大模型9 天前
AI产品经理学习路径:从零基础到精通,从此篇开始!
人工智能·学习·语言模型·自然语言处理·langchain·transformer·产品经理
高垚淼9 天前
如何构建智能应用:深入探索Langchain的强大功能与应用潜力
人工智能·python·langchain
AI-入门10 天前
AI大模型:是走向新的巅峰还是陷入发展的僵局?
数据库·人工智能·缓存·langchain·prompt·agi
weijie.zwj10 天前
11. LCEL:LangChain Expression Language
人工智能·langchain