【大模型从入门到精通19】开源库框架LangChain LangChain文档加载器1

目录

在数据驱动的应用领域,特别是涉及对话界面和大型语言模型(LLM)的应用中,从各种来源高效加载、处理并与数据进行交互的能力至关重要。LangChain 作为一个开源框架,在这个过程中扮演着核心角色,它提供了一整套文档加载器来处理广泛的数据类型和来源。

理解文档加载器

文档加载器是 LangChain 中专门用来访问和转换来自不同格式和来源的数据到标准化文档对象的组件。这样的对象通常包含内容及其相关的元数据,以便于在 LangChain 应用程序中进行无缝集成和处理。文档加载器的灵活性支持从网站、数据库和多媒体源等地方获取数据,并能处理诸如 PDF、HTML 和 JSON 等格式。

LangChain 提供了超过 80 种不同的文档加载器,每一种都是针对特定的数据源和格式而设计的。本指南将专注于几种关键类型的加载器,为理解和使用这套强大的工具集奠定基础。

非结构化数据加载器

这些加载器擅长处理来自公共源的数据,如 YouTube、Twitter 和 Hacker News,同时也适用于来自专有源的数据,如 Figma 和 Notion。对于需要访问广泛非结构化数据的应用程序来说,它们是必不可少的。

结构化数据加载器

对于涉及表格数据(带有文本单元格或行)的应用程序,结构化数据加载器就派上了用场。它们支持如 Airbyte、Stripe 和 Airtable 等来源,使用户能够在结构化数据集上执行语义搜索和问答。

使用文档加载器的实际指南

设置和配置

在与外部数据交互之前,正确配置环境是非常重要的。这包括安装必要的包和设置如 OpenAI 这样的服务的 API 密钥。

安装必要的包(注意:这些包可能已经在你的环境中安装好了)

!pip install langchain dotenv

import os

from dotenv import load_dotenv, find_dotenv

从 .env 文件加载环境变量

load_dotenv(find_dotenv())

从环境变量中设置 OpenAI API 密钥

openai_api_key = os.environ['OPENAI_API_KEY']

加载 PDF 文档

一个常见的数据源是 PDF 文档。下面的例子展示了如何加载一个 PDF 文档,具体来说是一系列讲座的讲稿。

python 复制代码
from langchain.document_loaders import PyPDFLoader
import re
from collections import Counter

# 使用 PDF 文件的路径初始化 PDF 加载器
pdf_loader = PyPDFLoader("docs/lecture_series/Lecture01.pdf")

# 加载文档页面
document_pages = pdf_loader.load()

# 清洗和分词函数
def clean_and_tokenize(text):
    # 去除非字母字符并将文本拆分为小写字母单词
    words = re.findall(r'\b[a-z]+\b', text.lower())
    return words

# 初始化一个计数器对象来跟踪单词频率
word_frequencies = Counter()

# 遍历文档中的每一页
for page in document_pages:
    # 检查页面是否为空
    if page.page_content.strip():
        # 清洗和分词页面内容
        words = clean_and_tokenize(page.page_content)
        # 更新单词频率
        word_frequencies.update(words)
    else:
        # 处理空白页面
        print(f"在索引 {document_pages.index(page)} 处找到空白页面")

# 示例:打印文档中最常见的 10 个单词
print("文档中最常见的单词:")
for word, freq in word_frequencies.most_common(10):
    print(f"{word}: {freq}")

# 访问第一页的元数据作为示例
first_page_metadata = document_pages[0].metadata
print("\n第一页的元数据:")
print(first_page_metadata)

# 可选:将清洗后的文本保存到文件中
with open("cleaned_lecture_series_lecture01.txt", "w") as text_file:
    for page in document_pages:
        if page.page_content.strip():  # 检查页面是否为空
            cleaned_text = ' '.join(clean_and_tokenize(page.page_content))
            text_file.write(cleaned_text + "\n")

这个例子包括以下几个额外的步骤:

文本清洗和分词:添加了一个 clean_and_tokenize 函数来去除任何非字母字符,并将文本拆分为小写字母单词进行基本规范化。

单词频率分析:使用 collections 模块中的 Counter 类,脚本现在计算整个文档中每个单词出现的频率。这对于了解讲座系列中最常讨论的主题或关键词很有用。

处理空白页面:检查空白页面,并在发现时打印一条消息。这对于调试文档加载问题或确保所有内容都被准确捕获非常有用。

保存清洗后的文本:可选地,脚本可以将清洗和分词后的文档文本保存到文件中。这对于进一步分析或处理非常有用,比如将文本送入自然语言处理管道。

这个扩展的代码提供了一个更全面的示例,展示如何从加载和清洗文本到基本分析和处理特殊情况,对 PDF 文档进行程序化的处理。

相关推荐
何大春6 分钟前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
mucheni8 分钟前
迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
arm开发·人工智能·边缘计算
Jamence9 分钟前
多模态大语言模型arxiv论文略读(三十六)
人工智能·语言模型·自然语言处理
www_pp_11 分钟前
# 构建词汇表:自然语言处理中的关键步骤
前端·javascript·自然语言处理·easyui
猿饵块21 分钟前
opencv--图像变换
人工智能·opencv·计算机视觉
LucianaiB28 分钟前
【金仓数据库征文】_AI 赋能数据库运维:金仓KES的智能化未来
运维·数据库·人工智能·金仓数据库 2025 征文·数据库平替用金仓
jndingxin43 分钟前
OpenCV 图形API(63)图像结构分析和形状描述符------计算图像中非零像素的边界框函数boundingRect()
人工智能·opencv·计算机视觉
旧故新长1 小时前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI1 小时前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆1 小时前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr