Python开发AI智能体(九)———构建RAG对话应用

前言

上篇文章我们介绍了如何在Langchain中构建代理

这篇文章我们将带领大家构建一个RAG对话应用

一、什么是RAG对话应用？

RAG（Retrieval-Augmented Generation，检索增强生成）技术通过从外部知识库检索相关信息，并将其与用户输入合并后传入大语言模型（LLM），从而增强模型在私有领域知识问答方面的能力。EAS提供场景化部署方式，支持灵活选择大语言模型和向量检索库，实现RAG对话系统的快速构建与部署。

我们这里通过爬虫的方式获取外部数据然后存到向量数据库当中。

二、编写代码

1.API调用

由于我们要使用爬虫，所以这里要引入第三方库bs4,然后设置爬虫浏览器伪装

python 复制代码

#安装第三方库 bs4
pip install bs4

python 复制代码

# 调用AI检测平台（langSmith）
import os
import sys

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = 'xxxxxxxxx'
os.environ["LANGCHAIN_PROJECT"] = "智谱AI"
#调用智谱AI API
os.environ["ZHIPUAI_API_KEY"] = "xxxxxxxxx"
#引入爬虫解析工具BS4
import bs4
#设置爬虫浏览器伪装(这一步是如果不写，只是报错，并不影响程序运行)
os.environ["USER_AGENT"]='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 Edg/134.0.0.0'

2.调用第三方库

python 复制代码

from langchain_community.chat_models import ChatZhipuAI
from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import ZhipuAIEmbeddings
from langchain_chroma import Chroma
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain.chains.retrieval import create_retrieval_chain
from langchain_community.chat_message_histories import ChatMessageHistory
from langchain.chains.history_aware_retriever import create_history_aware_retriever
from langchain_core.runnables import RunnableWithMessageHistory

3.调用大预言模型

python 复制代码

model = ChatZhipuAI(model_name='glm-4-flash')

4.加载数据

加载数据（本地数据库，或者或互联网数据）这里用一篇博客内容为例（爬虫）

文章连接：https://kib.cas.cn/kxcb/kpwz/202112/t20211230_6330472.html

这篇文章是介绍豆类植物的

python 复制代码

loader = WebBaseLoader(
    web_paths=['https://kib.cas.cn/kxcb/kpwz/202112/t20211230_6330472.html']
    bs_kwargs=dict(
        parse_only =bs4.SoupStrainer(class_='TRS_Editor') 
    )

)

WebBaseLoader: 是LangChain 提供的一个强大工具，用于从网页中提取文本并将其转换为结构化文档格式。它支持多页面加载、并发处理、自定义解析器以及代理配置，非常适合需要从网页提取大量数据的场景。
**web_paths:**可以存放一个或多个网址，多个网址要放在列表或者元组当中
**parse_only:**解析我们需要的内容。通过检查网页发现，文章的内容是放在一个类名叫'TRS_Editor'的盒子当中，所以我们这里的class类名里面要写'TRS_Editor'

5.转换文档

python 复制代码

docs = loader.load()

6.大文本切割（新建一个切割器）

1.为什么要使用文本切割器

大语言模型通常受到可以传递给它们的文本数量的限制，因此将文本分割为较小的块是必要的。

文本分割器是一种将大段文本拆分成较小块或片段的算法或方法。其目标是创建可单独处理的可管理的片段，这在处理大型文档或数据集时通常是必要的。

2.编写代码

python 复制代码

splitter = RecursiveCharacterTextSplitter(chunk_size=1000,chunk_overlap=200)
splits = splitter.split_documents(docs)

RecursiveCharacterTextSplitter：递归字符文本分割器，用于将长文本递归地分割成更小的片段。

该类里面一共有三个参数

第一个切割符号一般情况不用
**chunk_size：**每次分割的字数
**chunk_overlap：**重复次数

7.存储向量空间

python 复制代码

#实例化一个向量空间
vectorstore =Chroma.from_documents(documents=splits,embedding=ZhipuAIEmbeddings())
#4、检索器
retriever = vectorstore.as_retriever()

8.创建模板

python 复制代码

system_prompt = '''
你是一个专业回答问题的助手。
你要用下面检索器检索出来的内容回答问题。
如果不知道就回答，数据中没有提供信息。\n
{context}
'''
prompt = ChatPromptTemplate.from_messages([ #提问和问答的历史记录
    ("system", system_prompt),
    MessagesPlaceholder('chat_history'),
    ("human", "{input}"),
])

这部分代码不理解的可以移步

Python开发AI智能体(五)---------构建聊天机器人智能体

9.创建提问的链

python 复制代码

chain1 =create_stuff_documents_chain(model, prompt)

10.创建子链

注意：一般情况下，我们构建的链（chain）直接使用输入问答记录来关联上下文。但是在此案例当中，查询检索器也需要对话上下文才能破译

解决办法：添加一个子链（chain），它采用最新用户的问题和聊天历史，并在它引用历史信息中的任何信息时重新表述问题

python 复制代码

retriever_history_temp =ChatPromptTemplate.from_messages(
[
    ('system',son_system_promot),
    MessagesPlaceholder('chat_history'),
    ("human", "{input}"),
]
)
son_history_chain = create_history_aware_retriever(
    model,
    retriever,
    retriever_history_temp
)

**create_history_aware_retriever：**创建一个获取对话历史记录并返回文档的链（检索器对话历史）。

11.保存问答历史记录

python 复制代码

store={}

def get_session_history(session_id:str):
    if session_id not in store:
        store[session_id] = ChatMessageHistory()
    return store[session_id]

这部分代码不理解的可以移步

Python开发AI智能体(五)---------构建聊天机器人智能体

12.创建父链

创建一个父链chain:把前两个链整合起来

python 复制代码

chain = create_retrieval_chain(son_history_chain,chain1)

13.创建最终链

python 复制代码

result_chain = RunnableWithMessageHistory(
    chain,
    get_session_history,
    input_messages_key='input',
    history_messages_key='chat_history',
    output_messages_key ='answer'
)

**RunnableWithMessageHistory（）：**允许我们为某些类型的链添加消息历史。它包装另一个可运行对象，并管理其聊天消息历史。具体来说，它在将之前的消息传递给可运行对象之前加载对话中的先前消息，并在调用可运行对象后将生成的响应保存为消息。该类还通过使用 session_id 保存每个对话来支持多个对话 - 然后在调用可运行对象时期望在配置中传递 session_id，并使用它查找相关的对话历史。
**input_messages_key：**用于指定输入的哪个部分应该在聊天历史中被跟踪和存储。在此示例中，我们希望跟踪作为输入传递的字符串。
**history_messages_key：**用于指定以前的消息应如何注入到提示中。我们的提示中有一个名为 chat_history 的 MessagesPlaceholder，因此我们指定此属性以匹配。
**output_messages_key（对于有多个输出的链）：**指定要将哪个输出存储为历史记录。这是 input_messages_key 的反向

14.运行部分

python 复制代码

def run():
     question = input('请输入你的问题')
     question = '"' + question + '"'
     resp1 = result_chain.invoke(
        {
        'input': question,
         },
         config={
        'configurable': {'session_id': 'zx1234567'}
         }

     )
     print(resp1['answer'])
     num = int(input('请输入你的选择  1.提问 2.退出系统'))
     if num == 1:
         run()
     else:
         sys.exit()

if __name__ == "__main__":
    print('--------欢迎来自定义智能体---------')

    run()

15.运行结果

通过和博客内容对比得出，大模型给出的答案是基于文章内容的

16.完整代码

python 复制代码

# 调用AI检测平台（langSmith）
import os
import sys

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = 'xxxxxxxx'
os.environ["LANGCHAIN_PROJECT"] = "智谱AI"
#调用智谱AI API
os.environ["ZHIPUAI_API_KEY"] = "xxxxxxxxx"
#引入爬虫解析工具BS4
import bs4
#设置爬虫浏览器伪装(这一步是如果不写，只是报错，并不影响程序运行)
os.environ["USER_AGENT"]='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/134.0.0.0 Safari/537.36 Edg/134.0.0.0'

#调用第三方库
from langchain_community.chat_models import ChatZhipuAI
from langchain_community.document_loaders import WebBaseLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import ZhipuAIEmbeddings
from langchain_chroma import Chroma
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain.chains.retrieval import create_retrieval_chain
from langchain_community.chat_message_histories import ChatMessageHistory
from langchain.chains.history_aware_retriever import create_history_aware_retriever
from langchain_core.runnables import RunnableWithMessageHistory

#调用大语言模型
model = ChatZhipuAI(model_name='glm-4-flash')

#1、加载数据
loader = WebBaseLoader(
    web_paths=['https://kib.cas.cn/kxcb/kpwz/202112/t20211230_6330472.html'],#可以存放一个或多个网址，多个网址要放在列表或者元组当中
    bs_kwargs=dict(
        parse_only =bs4.SoupStrainer(class_='TRS_Editor') #解析HTML文档  parse_only只是解析我们需要的内容
    )

)

docs = loader.load() #转换文档
#2大文本的切割
splitter = RecursiveCharacterTextSplitter(chunk_size=1000,chunk_overlap=200)
splits = splitter.split_documents(docs)

#3、存储向量空间
#实例化一个向量空间
vectorstore =Chroma.from_documents(documents=splits,embedding=ZhipuAIEmbeddings())
#4、检索器
retriever = vectorstore.as_retriever()

#6、创建一个AI模板
system_prompt = '''
你是一个专业回答问题的助手。
你要用下面检索器检索出来的内容回答问题。
如果不知道就回答，数据中没有提供信息。\n
{context}
'''
prompt = ChatPromptTemplate.from_messages([ #提问和问答的历史记录
    ("system", system_prompt),
    MessagesPlaceholder('chat_history'),
    ("human", "{input}"),
])

#7.创建链
#提问的chain
chain1 =create_stuff_documents_chain(model, prompt)



#创建一个子链
#子链的提示模板
son_system_promot="""
给我一个历史的聊天记录以即用户最新提出的问题。
在我们的聊天记录中引用我们的上下文内容，
得到一个独立的问题。
当没有聊天记录的时候，不需要回答这个问题。
直接返回问题就可以了。
"""

retriever_history_temp =ChatPromptTemplate.from_messages(
[
    ('system',son_system_promot),
    MessagesPlaceholder('chat_history'),
    ("human", "{input}"),
]
)
son_history_chain = create_history_aware_retriever(
    model,
    retriever,
    retriever_history_temp
)

#保存问答历史记录
store={}

def get_session_history(session_id:str):
    if session_id not in store:
        store[session_id] = ChatMessageHistory()
    return store[session_id]

#创建一个父链chain:把前两个链整合起来
chain = create_retrieval_chain(son_history_chain,chain1)


result_chain = RunnableWithMessageHistory(
    chain,
    get_session_history,
    input_messages_key='input',
    history_messages_key='chat_history',
    output_messages_key ='answer'
)


def run():
     question = input('请输入你的问题')
     question = '"' + question + '"'
     resp1 = result_chain.invoke(
        {
        'input': question,
         },
         config={
        'configurable': {'session_id': 'zx1234567'}
         }

     )
     print(resp1['answer'])
     num = int(input('请输入你的选择  1.提问 2.退出系统'))
     if num == 1:
         run()
     else:
         sys.exit()


if __name__ == "__main__":
    print('--------欢迎来自定义智能体---------')

    run()