🔥🔥🔥一文搞懂Langchain Document Loader(一)

前言

像 GPT-3 这样的语言模型已经在大量数据上进行了训练,包括数百 GB 和数十亿个单词。因此,它们具有扎实的知识基础,使它们在历史和科学等领域表现出色。然而,这些模型确实有局限性。一旦它们在训练中达到了某个程度,除非可以访问互联网,否则它们无法吸收任何新信息。此外,它们无法访问私人和企业文件中的大量数据。

要解决这个问题,理解"索引"的概念至关重要。这些索引有助于将文档结构化,以便于 LLMs 的使用。LangChain 提供了四种创建索引的工具 :

  • 文档加载器(Document Loaders)
  • 文本拆分器 (Text Splitters)
  • 向量存储 (Vector Stores)
  • 检索器(Retrievers)。

本指南旨在深入解释 LangChain 文档加载器( Document Loaders),使您能够充分利用它们在您的 LLM 应用程序中。)。顾名思义,文档加载器负责从不同的来源加载文档。它们是多功能的工具,可以处理各种数据格式,并将它们转换成语言模型可以轻松处理的标准结构。

了解 LangChain 文档加载器

首先要了解的概念是 Langchain 称之为文档(Document)的东西。文档非常简单,它有两个字段:

  • page_content(字符串):文档的原始文本
  • metadata(字典):关于文本的任何元数据的键/值存储(源 URL、作者等)

我们来看一个最基本的文档加载器(TextLoader),它打开一个文本文件并将文本加载到文档中。

python 复制代码
class TextLoader(BaseLoader):
    """Load text files."""

    def __init__(
        self,
        file_path: str,
        encoding: Optional[str] = None,
        autodetect_encoding: bool = False,
    ):
        """Initialize with file path."""
        self.file_path = file_path
        self.encoding = encoding
        self.autodetect_encoding = autodetect_encoding

    def load(self) -> List[Document]:
        """Load from file path."""
        text = ""
        try:
            with open(self.file_path, encoding=self.encoding) as f:
                text = f.read()
        except UnicodeDecodeError as e:
            # code to handle Decoding errors
        except Exception as e:
            raise RuntimeError(f"Error loading {self.file_path}") from e

        metadata = {"source": self.file_path}
        return [Document(page_content=text, metadata=metadata)]

TextLoader 将文档的 page_content 设置为文件的文本,metadata 存储"source"文件路径。

随着数据来源变得更加复杂,你会发现需要更多的逻辑来创建这些文档。归根结底,我们的核心目标是将数据转换为这种标准格式,以便在我们的索引系统中进一步处理。

LangChain 中有三种主要类型的文档加载器:Transform(转换)、Public Datasets/Services(公共数据集/服务)、Proprietary Datasets/Services(专有数据集/服务)。

相关推荐
万少9 小时前
一手实测,文心x1.1的升级很惊喜啊
百度·openai·文心一言
闲看云起12 小时前
从 GPT 到 LLaMA:解密 LLM 的核心架构——Decoder-Only 模型
gpt·架构·llama
北京地铁1号线12 小时前
GPT(Generative Pre-trained Transformer)模型架构与损失函数介绍
gpt·深度学习·transformer
新智元12 小时前
不到 10 天,国产「香蕉」突袭!一次 7 图逼真还原,合成大法惊呆歪果仁
人工智能·openai
新智元14 小时前
学哲学没出路?不好意思,现在哲学就业碾压 CS!
人工智能·openai
机器之心14 小时前
DPad: 扩散大语言模型的中庸之道,杜克大学陈怡然团队免训推理加速61倍
人工智能·openai
coder_pig14 小时前
👦抠腚男孩的AI学习之旅 | 6、玩转 LangChain (二)
langchain·aigc·agent
算家计算14 小时前
OpenAI百亿美元造芯计划曝光,算力争夺战进入新阶段?
人工智能·openai·资讯
洞窝技术16 小时前
洞窝基于RAG+Dify+钉钉快速搭建智能问答工具的落地实践
aigc·openai
库森学长18 小时前
2025年,你不能错过Spring AI,那个汲取了LangChain灵感的家伙!
后端·openai·ai编程