Elasticsearch：使用 OpenAI、LangChain 和 Streamlit 的基于 LLM 的 PDF 摘要器和 Q/A 应用程序

Elasticsearch2024-03-15 14:21

嘿！ 您是否曾经感觉自己被淹没在信息的海洋中？ 有这么多的书要读，而时间却这么少，很容易就会超负荷，对吧？ 但猜猜怎么了？ 你可以使用大型语言模型创建自定义聊天机器人，该模型可以帮助您总结 pdf 并根据你上传的 pdf 回答你的问题。 拥有 PDF 摘要生成器就像拥有一个超级聪明的伙伴，他可以阅读那些又长又无聊的文档，并为你提供所需的内容。 不再需要翻阅研究论文或任何报告。 有大量工具可以帮助你总结文档，有些需要付费，有些是免费的。 但是为什么不尝试创建你的 PDF 摘要应用程序并尝试一下最适合你的呢？

在这篇博文中，我将向您展示如何使用 Open AI、Lang chain 和 Stream lit 构建端到端应用程序。 那么，让我们开始吧！

它是如何工作的？

在这个项目中，我们将使用以下内容：

Open AI

Open AI 是一个人工智能研究组织，专注于开发先进的人工智能技术，造福人类。 它的成立是为了负责任地、有益地推进人工智能。 OpenAI 在人工智能的各个领域进行研究，包括自然语言处理、强化学习、机器人技术等。 其主要目标之一是开发能够以类人智能执行各种任务的人工智能系统。 OpenAI 的著名项目和成就之一是语言模型。 OpenAI 开发了大规模语言模型，例如 GPT（生成式预训练转换器）系列，它可以根据提供给它们的输入生成类似人类的文本。 这些模型在自然语言理解、文本生成翻译等领域都有应用。

创建 OpenAI 密钥

要生成 OpenAI API 密钥，请访问网站 openai.com/，登录，然后从标记为 "API Keys" 的部分生成一个对每个人来说都是唯一的 API 密钥。 一旦你的 API 密钥生成，它将显示在屏幕上。 复制 API 密钥并安全存储。 将您的 API 密钥视为密码，并避免公开共享。 你现在可以使用 OpenAI API 密钥访问 OpenAI API 并将其集成到你的应用程序、项目或研究中。

生成 Open AI 秘密 API 密钥

LangChain

LangChain 是一个用于构建由语言模型支持的上下文感知推理应用程序的框架。 它使应用程序能够根据上下文理解并做出响应，从而增强决策能力。 LangChain 提供工具、库和预构建组件，用于创建复杂的基于文本的应用程序，包括聊天机器人、数据分析和检索增强生成任务。 其主要目的是使开发人员能够在其应用程序中有效地利用语言模型，使他们能够推理、响应以及与用户或数据进行智能交互。

Streamlit

Streamlit 是一个开源 Python 库，用于为机器学习和数据科学项目构建 Web 应用程序。 它允许开发人员直接直观地编写代码，从而简化了创建交互式 Web 应用程序的过程。 借助 Streamlit，开发人员可以直接从 Python 脚本创建交互式 Web 应用程序，而无需编写 HTML、CSS 或 Javascript 代码。 它提供了易于使用的组件，用于创建交互式小部件、可视化和数据显示。 在此项目中，我们使用 Streamlit 来实现简单的用户界面，你可以在本博客末尾看到。

运行 streamlit 应用可以使用命令：streamlit run app.py

前提条件

安装 Elasticsearch 及 Kibana

如果你还没有安装好自己的 Elasticsearch 及 Kibana，那么请参考一下的文章来进行安装：

在安装的时候，请选择 Elastic Stack 8.x 进行安装。在安装的时候，我们可以看到如下的安装信息：

为了方便大家学习，我在本次的演示中使用 Elastic Stack 8.12 来进行展示。

安装 Python 依赖包

pip3 install langchain OpenAI PyPDF2 python-dotenv streamlit elasticsearch streamlit-extras tiktoken langchain-community

你可以使用 pip install 简单地安装所有这些库。

  • Langchain：语言链库，可帮助你完成总结文本、回答问题和生成新句子等操作。
  • OpenAI：这有助于与 OpenAI 提供的语言模型进行交互
  • PyPDF2：处理 PDF 文件。 启用读取和操作 PDF 文档等任务。
  • Python-dotenv：你可以将 API 密钥或数据库凭据等敏感信息存储在名为 .env 的特殊文件中，而不是将它们硬编码到代码中。 这有助于确保敏感信息的安全，并使管理不同环境（如开发、测试和生产）变得更加容易，而无需更改代码。
  • Streamlit：用于创建交互式 Web 应用程序的框架。
  • elasticsearch：- 用于密集向量的相似性搜索和聚类的高效库。
  • Streamlit-extras：一个扩展包，为 Streamlit 添加额外的功能，并提供额外的工具、小部件和功能来增强 Streamlit 应用程序的功能。

拷贝 Elasticsearch 证书到当前的目录中

bash 复制代码 
1.  $ pwd
2.  /Users/liuxg/python/PDF-Summarizer-End-to-End-Project
3.  $ cp ~/elastic/elasticsearch-8.12.0/config/certs/http_ca.crt .
4.  $ ls http_ca.crt 
5.  http_ca.crt

创建环境变量文件

我们在自己的项目根目录下创建如下的 .env 文件：

.env

ini 复制代码 
1.  ES_USER="elastic"
2.  ES_PASSWORD="q2rqAIphl-fx9ndQ36CO"
3.  ES_ENDPOINT="localhost"
4.  OPENAI_API_KEY="YourOpenAIkey"

请记得根据自己的 Elasticsearch 配置及 OpenAI key 进行相应的修改。

创建应用

我们在当前的目录下创建一个叫做 app.py 的文件。

导入依赖项

javascript 复制代码 
1.  from dotenv import load_dotenv
2.  import streamlit as st
3.  from PyPDF2 import PdfReader
4.  from streamlit_extras.add_vertical_space import add_vertical_space
5.  from langchain.text_splitter import CharacterTextSplitter
6.  from langchain.embeddings.openai import OpenAIEmbeddings
7.  from elasticsearch import Elasticsearch, helpers
8.  from langchain_community.vectorstores import ElasticsearchStore
9.  from langchain.chains.question_answering import load_qa_chain
10.  from langchain_community.llms import OpenAI
11.  from langchain_community.callbacks import get_openai_callback
12.  import os
markdown 复制代码 
1.  # Sidebar contents
2.  with st.sidebar:
3.      st.title('💬PDF Summarizer and Q/A App')
4.      st.markdown('''
5.      ## About this application
6.      You can built your own customized LLM-powered chatbot using:
7.      - [Streamlit](https://streamlit.io/)
8.      - [LangChain](https://python.langchain.com/)
9.      - [OpenAI](https://platform.openai.com/docs/models) LLM model

11.      ''')
12.      add_vertical_space(2)
13.      st.write(' Why drown in papers when your chat buddy can give you the highlights and summary? Happy Reading. ')
14.      add_vertical_space(2)

上传 PDF 文件

为了方便大家学习，我把一些示例的 PDF 文件进行上传。你可以在地址下载。

我们使用如下的代码来上传 PDF 文件：

ini 复制代码 
pdf = st.file_uploader("Upload your PDF File and Ask Questions", type="pdf")

Streamlit 中的 st.file_uploader 功能允许用户上传 PDF 文件，使他们能够交互式地选择和上传 PDF 文档，以便在 Streamlit Web 应用程序中进行进一步处理或分析。

我们使用如下的命令来运行代码：

app.py

python 复制代码 
1.  from dotenv import load_dotenv
2.  import streamlit as st
3.  from PyPDF2 import PdfReader
4.  from streamlit_extras.add_vertical_space import add_vertical_space
5.  from langchain.text_splitter import CharacterTextSplitter
6.  from langchain.embeddings.openai import OpenAIEmbeddings
7.  from elasticsearch import Elasticsearch, helpers
8.  from langchain_community.vectorstores import ElasticsearchStore
9.  from langchain.chains.question_answering import load_qa_chain
10.  from langchain_community.llms import OpenAI
11.  from langchain_community.callbacks import get_openai_callback
12.  import os

14.  # Sidebar contents
15.  with st.sidebar:
16.      st.title('💬PDF Summarizer and Q/A App')
17.      st.markdown('''
18.      ## About this application
19.      You can built your own customized LLM-powered chatbot using:
20.      - [Streamlit](https://streamlit.io/)
21.      - [LangChain](https://python.langchain.com/)
22.      - [OpenAI](https://platform.openai.com/docs/models) LLM model

24.      ''')
25.      add_vertical_space(2)
26.      st.write(' Why drown in papers when your chat buddy can give you the highlights and summary? Happy Reading. ')
27.      add_vertical_space(2)    

29.  def main():
30.      load_dotenv()
31.      OPENAI_API_KEY= os.getenv("OPENAI_API_KEY")
32.      ES_USER = os.getenv("ES_USER")
33.      ES_PASSWORD = os.getenv("ES_PASSWORD")
34.      ES_ENDPOINT = os.getenv("ES_ENDPOINT")
35.      elastic_index_name='pdf_docs'

37.      #Main Content
38.      st.header("Ask About Your PDF 🤷‍♀️💬")

40.      # upload file
41.      pdf = st.file_uploader("Upload your PDF File and Ask Questions", type="pdf")

44.  if __name__ == '__main__':
45.      main()
arduino 复制代码 
streamlit run app.py

提前文本并写入到 Elasticsearch

app.py

ini 复制代码 
1.  from dotenv import load_dotenv
2.  import streamlit as st
3.  from PyPDF2 import PdfReader
4.  from streamlit_extras.add_vertical_space import add_vertical_space
5.  from langchain.text_splitter import CharacterTextSplitter
6.  from langchain.embeddings.openai import OpenAIEmbeddings
7.  from elasticsearch import Elasticsearch, helpers
8.  from langchain_community.vectorstores import ElasticsearchStore
9.  from langchain.chains.question_answering import load_qa_chain
10.  from langchain_community.llms import OpenAI
11.  from langchain_community.callbacks import get_openai_callback
12.  import os

15.  # Sidebar contents
16.  with st.sidebar:
17.      st.title('💬PDF Summarizer and Q/A App')
18.      st.markdown('''
19.      ## About this application
20.      You can built your own customized LLM-powered chatbot using:
21.      - [Streamlit](https://streamlit.io/)
22.      - [LangChain](https://python.langchain.com/)
23.      - [OpenAI](https://platform.openai.com/docs/models) LLM model

25.      ''')
26.      add_vertical_space(2)
27.      st.write(' Why drown in papers when your chat buddy can give you the highlights and summary? Happy Reading. ')
28.      add_vertical_space(2)    

30.  def main():
31.      load_dotenv()
32.      OPENAI_API_KEY= os.getenv("OPENAI_API_KEY")
33.      ES_USER = os.getenv("ES_USER")
34.      ES_PASSWORD = os.getenv("ES_PASSWORD")
35.      ES_ENDPOINT = os.getenv("ES_ENDPOINT")
36.      elastic_index_name='pdf_docs'

38.      #Main Content
39.      st.header("Ask About Your PDF 🤷‍♀️💬")

41.      # upload file
42.      pdf = st.file_uploader("Upload your PDF File and Ask Questions", type="pdf")

44.      # extract the text
45.      if pdf is not None:
46.        pdf_reader = PdfReader(pdf)
47.        text = ""
48.        for page in pdf_reader.pages:
49.          text += page.extract_text()

51.        # split into chunks
52.        text_splitter = CharacterTextSplitter(
53.          separator="\n",
54.          chunk_size=1000,
55.          chunk_overlap=200,
56.          length_function=len
57.        )
58.        chunks = text_splitter.split_text(text)

60.        # Make a connection to Elasticsearch

62.        url = f"https://{ES_USER}:{ES_PASSWORD}@{ES_ENDPOINT}:9200"

64.        connection = Elasticsearch(
65.          hosts=[url], 
66.          ca_certs = "./http_ca.crt", 
67.          verify_certs = True
68.        )
69.        print(connection.info())

71.        # create embeddings
72.        embeddings = OpenAIEmbeddings()
73.        if not connection.indices.exists(index=elastic_index_name):
74.          print("The index does not exist, going to generate embeddings")   
75.          docsearch = ElasticsearchStore.from_texts( 
76.                  chunks,
77.                  embedding = embeddings, 
78.                  es_url = url, 
79.                  es_connection = connection,
80.                  index_name = elastic_index_name, 
81.                  es_user = ES_USER,
82.                  es_password = ES_PASSWORD
83.          )
84.        else: 
85.          print("The index already existed")

87.          docsearch = ElasticsearchStore(
88.              es_connection=connection,
89.              embedding=embeddings,
90.              es_url = url, 
91.              index_name = elastic_index_name, 
92.              es_user = ES_USER,
93.              es_password = ES_PASSWORD    
94.          )    

96.  if __name__ == '__main__':
97.      main()

我们使用如下的部分来提取 pdf 文件：

ini 复制代码 
1.  if pdf is not None:
2.        pdf_reader = PdfReader(pdf)
3.        text = ""
4.        for page in pdf_reader.pages:
5.          text += page.extract_text()

它首先检查 PDF 文件是否已上传（即变量 pdf 是否不是 None）。 如果确实上传了 PDF 文件，则会创建一个 PdfReader 对象来读取 PDF 文件的内容。 然后，它迭代 PDF 文档的每个页面，使用 extract_text() 方法从每个页面中提取文本，并将所有页面中的文本连接到一个名为 text 的字符串变量中。

我们使用如下的代码把文档分成 chunk：

ini 复制代码 
1.  # split into chunks
2.        text_splitter = CharacterTextSplitter(
3.          separator="\n",
4.          chunk_size=1000,
5.          chunk_overlap=200,
6.          length_function=len
7.        )
8.        chunks = text_splitter.split_text(text)

"chunks"变量表示从 PDF 文件中提取的文本的分段部分。 将文本拆分为块至关重要，因为它有助于更有效地处理大型文档，因为一次处理整个文本可能会消耗过多的内存和处理资源。 通过将文本分成更小的片段，应用程序可以更有效地管理和分析数据。 对文本进行分段可以更好地组织并有助于有针对性地分析或处理文档的特定部分。

我们使用如下的代码来生成嵌入：

ini 复制代码 
 1.          ElasticsearchStore.from_texts( 
2.                  chunks,
3.                  embedding = embeddings, 
4.                  es_url = url, 
5.                  es_connection = connection,
6.                  index_name = elastic_index_name, 
7.                  es_user = ES_USER,
8.                  es_password = ES_PASSWORD
9.          )

嵌入是对象的数字表示，通常用于捕获它们在数学空间中的语义或上下文。 词嵌入是高维空间中单词、短语或文档的向量表示，其中相似的单词彼此更接近。 在此代码片段中，嵌入是使用 OpenAIEmbeddings() 函数创建的，该函数可能为从 PDF 文件中提取的文本数据生成嵌入（向量表示）。 这些嵌入捕获有关文本的语义信息，使应用程序能够更有效地理解和处理内容。

随后，使用 ElasticsearchStore.from_texts() 函数构建知识库，该函数根据之前分段的文本块创建可搜索索引或结构。 该知识库使用 Elasticsearch 库实现，可根据文本片段的嵌入进行高效的相似性搜索和检索。

成功运行上面的脚本后，我们可以到 Elasticsearch 中进行查看：

连接 LLM OpenAI

scss 复制代码 
1.  llm = OpenAI()
2.          chain = load_qa_chain(llm, chain_type="stuff")
3.          with get_openai_callback() as cb:
4.            response = chain.run(input_documents=docs, question=user_question)
5.            print(cb)

7.          st.write(response)

此代码初始化并利用 OpenAI 语言模型 (LLM) 创建问答 (Q&A) 系统。 它使用 LLM 加载预训练或自定义问答模型，设置回调管理以处理问答过程中的事件，对输入文档和用户问题执行模型，并使用 Streamlit 显示生成的响应以进行用户交互。

最终的完整 app.py 如下：

app.py

ini 复制代码 
1.  from dotenv import load_dotenv
2.  import streamlit as st
3.  from PyPDF2 import PdfReader
4.  from streamlit_extras.add_vertical_space import add_vertical_space
5.  from langchain.text_splitter import CharacterTextSplitter
6.  from langchain.embeddings.openai import OpenAIEmbeddings
7.  from elasticsearch import Elasticsearch, helpers
8.  from langchain_community.vectorstores import ElasticsearchStore
9.  from langchain.chains.question_answering import load_qa_chain
10.  from langchain_community.llms import OpenAI
11.  from langchain_community.callbacks import get_openai_callback
12.  import os

15.  # Sidebar contents
16.  with st.sidebar:
17.      st.title('💬PDF Summarizer and Q/A App')
18.      st.markdown('''
19.      ## About this application
20.      You can built your own customized LLM-powered chatbot using:
21.      - [Streamlit](https://streamlit.io/)
22.      - [LangChain](https://python.langchain.com/)
23.      - [OpenAI](https://platform.openai.com/docs/models) LLM model

25.      ''')
26.      add_vertical_space(2)
27.      st.write(' Why drown in papers when your chat buddy can give you the highlights and summary? Happy Reading. ')
28.      add_vertical_space(2)    

30.  def main():
31.      load_dotenv()
32.      OPENAI_API_KEY= os.getenv("OPENAI_API_KEY")
33.      ES_USER = os.getenv("ES_USER")
34.      ES_PASSWORD = os.getenv("ES_PASSWORD")
35.      ES_ENDPOINT = os.getenv("ES_ENDPOINT")
36.      elastic_index_name='pdf_docs'

38.      #Main Content
39.      st.header("Ask About Your PDF 🤷‍♀️💬")

41.      # upload file
42.      pdf = st.file_uploader("Upload your PDF File and Ask Questions", type="pdf")

44.      # extract the text
45.      if pdf is not None:
46.        pdf_reader = PdfReader(pdf)
47.        text = ""
48.        for page in pdf_reader.pages:
49.          text += page.extract_text()

51.        # split into chunks
52.        text_splitter = CharacterTextSplitter(
53.          separator="\n",
54.          chunk_size=1000,
55.          chunk_overlap=200,
56.          length_function=len
57.        )
58.        chunks = text_splitter.split_text(text)

60.        # Make a connection to Elasticsearch

62.        url = f"https://{ES_USER}:{ES_PASSWORD}@{ES_ENDPOINT}:9200"

64.        connection = Elasticsearch(
65.          hosts=[url], 
66.          ca_certs = "./http_ca.crt", 
67.          verify_certs = True
68.        )
69.        print(connection.info())

71.        # create embeddings
72.        embeddings = OpenAIEmbeddings()
73.        if not connection.indices.exists(index=elastic_index_name):
74.          print("The index does not exist, going to generate embeddings")   
75.          docsearch = ElasticsearchStore.from_texts( 
76.                  chunks,
77.                  embedding = embeddings, 
78.                  es_url = url, 
79.                  es_connection = connection,
80.                  index_name = elastic_index_name, 
81.                  es_user = ES_USER,
82.                  es_password = ES_PASSWORD
83.          )
84.        else: 
85.          print("The index already existed")

87.          docsearch = ElasticsearchStore(
88.              es_connection=connection,
89.              embedding=embeddings,
90.              es_url = url, 
91.              index_name = elastic_index_name, 
92.              es_user = ES_USER,
93.              es_password = ES_PASSWORD    
94.          )

96.              # show user input
97.        with st.chat_message("user"):
98.          st.write("Hello World 👋")
99.        user_question = st.text_input("Please ask a question about your PDF here:")
100.        if user_question:
101.          docs = docsearch.similarity_search(user_question)

103.          llm = OpenAI()
104.          chain = load_qa_chain(llm, chain_type="stuff")
105.          with get_openai_callback() as cb:
106.            response = chain.run(input_documents=docs, question=user_question)
107.            print(cb)

109.          st.write(response)

111.  if __name__ == '__main__':
112.      main()

我们可以针对文章进行总结：

我们也可以针对文章进行搜索：

整个项目的源码可以在地址 GitHub - liu-xiao-guo/PDF-Summarizer-End-to-End-Project 进行下载。

相关推荐
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ38 分钟前
Elasticsearch的查询语法——DSL 查询
大数据·elasticsearch·jenkins
A陈雷39 分钟前
springboot整合elasticsearch，并使用docker desktop运行elasticsearch镜像容器遇到的问题。
spring boot·elasticsearch·docker
Make_magic41 分钟前
Git学习教程（更新中）
大数据·人工智能·git·elasticsearch·计算机视觉
Elastic 中国社区官方博客2 小时前
使用真实 Elasticsearch 进行更快的集成测试
大数据·运维·服务器·数据库·elasticsearch·搜索引擎·集成测试
SafePloy安策11 小时前
ES信息防泄漏：策略与实践
大数据·elasticsearch·开源
涔溪11 小时前
Ecmascript（ES）标准
前端·elasticsearch·ecmascript
csdn56597385014 小时前
Elasticsearch 重建索引 数据迁移
elasticsearch·数据迁移·重建索引
天幕繁星14 小时前
docker desktop es windows解决vm.max_map_count [65530] is too low 问题
windows·elasticsearch·docker·docker desktop
Elastic 中国社区官方博客14 小时前
Elasticsearch 8.16：适用于生产的混合对话搜索和创新的向量数据量化，其性能优于乘积量化 (PQ)
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
m1chiru14 小时前
Elasticsearch 实战应用：高效搜索与数据分析
elasticsearch
热门推荐
01玄机平台应急响应—webshell查杀02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04新版微信小程序获取用户手机号05文件或文件夹名称中有空格如何批量去除06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07【TC3xx芯片】TC3xx芯片电源管理系统PMS详解08优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间09基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测10【Flutter】基于 GetX 实现 Dio 的生命周期自动化