LangChain构建RAG(基于Huggingface与Groqcloud,无需本地部署模型)

一、前言

‌LangChain是一个开源框架,旨在简化使用大型语言模型(LLM)的应用程序创建。‌它提供了一个标准接口,允许开发者将不同的语言模型连接在一起,并与外部计算和数据源进行集成。LangChain的核心思想是通过组合不同的组件来创建更高级的大语言模型应用程序。它为常见应用程序提供了端到端的解决方案,例如聊天机器人、文档分析和代码生成等。‌

‌LangChain封装许多主流的大模型提供商的API接口,可以快速便捷的开发RAG应用。

下面我将从0开发一个RAG应用。

二、准备工作

准备Huggingface与Groqcloud的api_key

Huggingface:https://huggingface.co/

Groqcloud:https://console.groq.com/

python依赖:

python 复制代码
 langchain-openai
 langchain-community 
 chromadb 
 pypdf    
 openai  

在线pdf文档

作为我们的本地知识,大模型要从这个pdf中告诉我们答案,这里我是在网络上随便找的一篇论文
https://arxiv.org/pdf/1801.06176

三、LangChain构建RAG应用

RAG应用的流程如下:

简单来说就是,用户询问问题,首先将用户的问题Embedding向量化,之后与向量数据库中比对,找到相似度最高的文本,之后将相关的文本交给大模型,大模型根据这些文本给出我一个总结后的答案。

1、准备问题

准备一个问题,最好是可以在准备的文档中可以找到的答案。

例如:

我询问DDQ的全称是什么,这个答案是在pdf的内容中的

python 复制代码
query = "What is the full name of DDQ"

2、加载文本

加载准备的文档,这里我只取了文档的前3页作为演示

python 复制代码
pdf_loader = PyPDFLoader("https://arxiv.org/pdf/1801.06176")
pages = pdf_loader.load_and_split()
pages = pages[:3]  # 为了减少时间,缩短数据

3、分割文本

为了提高处理效率、便于模型训练与推理 ,需要将我们加载的数据进行切分
chunk_size=500

这个参数指定了每个文本块的最大长度(以字符数为单位)。例如,chunk_size=500表示每个文本块的最大长度为500个字符。

chunk_overlap=50

这个参数定义了相邻两个文本块之间的重叠字符数。chunk_overlap=50意味着相邻的两个文本块将共享50个字符。这对于确保文本块之间的连接顺畅、保持上下文一致性很有用。

python 复制代码
from langchain.text_splitter import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
documents = splitter.split_documents(pages)

4、Embedding向量化

我们调用HuggingFace的模型接口作为我们的Embedding模型,Embedding模型可以在HuggingFace找到,注意这里需要填写自己的api_key

python 复制代码
hug_embeddings = HuggingFaceInferenceAPIEmbeddings(api_key="xxxx",
                                                   model_name="sentence-transformers/all-MiniLM-l6-v2")
vectorstore = Chroma.from_documents(documents=documents, embedding=hug_embeddings, collection_name="test")

5、匹配文本

这里我们匹配相似度前3的三个文本,并将这3段文本拼接,之后交给大模型从中提取我们想要的答案。

python 复制代码
search_result = vectorstore.similarity_search(query, k=3)
source_knowledge = "\n".join([x.page_content for x in search_result])

6、构建Prompt

将我们的问题和从向量数据库中匹配到的文本数据交给大模型

python 复制代码
msgs = []
from langchain.schema import HumanMessage
prompt = HumanMessage(
    content=f"""Answer my question based on my content, content: {source_knowledge}, question: {query}"""
)
msgs.append(prompt)

7、调用大模型

这里我们调用GroqCloud的llama模型,需要填写自己的api_key

python 复制代码
client = ChatOpenAI(
    base_url="https://api.groq.com/openai/v1",
    api_key="xxxx",
    model="llama-3.3-70b-versatile"
)
resp = client.invoke(msgs)
print(resp.content)

8、实现效果

四、完整代码

python 复制代码
from langchain_openai import ChatOpenAI
from langchain_community.embeddings import  HuggingFaceInferenceAPIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_community.document_loaders import PyPDFLoader

# 我们的问题
query = "What is the full name of DDQ"


# 1、加载文本
pdf_loader = PyPDFLoader("https://arxiv.org/pdf/1801.06176")
pages = pdf_loader.load_and_split()
pages = pages[:3]  # 为了减少时间,缩短数据


# 2、分割文本
from langchain.text_splitter import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
documents = splitter.split_documents(pages)
print(documents.__len__())

# 3、embedding向量化
hug_embeddings = HuggingFaceInferenceAPIEmbeddings(api_key="xxxx",
                                                   model_name="sentence-transformers/all-MiniLM-l6-v2")
vectorstore = Chroma.from_documents(documents=documents, embedding=hug_embeddings, collection_name="test")

# 4、根据文本匹配top3文本,拼接,为了之后交给大模型处理
search_result = vectorstore.similarity_search(query, k=3)
source_knowledge = "\n".join([x.page_content for x in search_result])
print(source_knowledge)

# 5、构建Prompt
msgs = []
from langchain.schema import HumanMessage
prompt = HumanMessage(
    content=f"""Answer my question based on my content, content: {source_knowledge}, question: {query}"""
)
msgs.append(prompt)

# 6、调用大模型
client = ChatOpenAI(
    base_url="https://api.groq.com/openai/v1",
    api_key="xxxxx",
    model="llama-3.3-70b-versatile"
)
resp = client.invoke(msgs)
print(resp.content)
相关推荐
深蓝AI3 小时前
12000 名工程师的高盛,只用四个月就收回了交易员的 AI 编程权限
人工智能·程序员
怕浪猫7 小时前
这个十几个agent 协作项目值得关注
人工智能·面试·github
starzy19909 小时前
深入理解Scala隐式类:扩展方法机制
开发语言·人工智能·scala
深蓝AI9 小时前
为什么 agent 的 demo 都很惊艳,上了生产就不靠谱
人工智能·程序员
M--Y9 小时前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph
数字新视界9 小时前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统
岁月宁静10 小时前
DeepSeek Harness 实战与架构解析:让 Agent 从“会聊”到“能交付”
人工智能·python·agent
深蓝AI10 小时前
一个项目五个 AI 同时干活,Claude Code 怎么让它们不互相打架
人工智能·程序员
forest_0910 小时前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
ZONGYUAN-ROOT11 小时前
【工具治理】Nginx换机丢16子域事故复盘
人工智能