python调用langchain实现RAG

一、安装langchain

安装依赖

bash 复制代码
python -m venv env

.\env\Scripts\activate

pip3 install langchain

pip3 install langchain-core

pip3 install langchain-openai

pip3 install langchain-community

pip3 install  dashscope

pip3 install  langchain_postgres

pip3 install "psycopg[binary]"

导入库函数

bash 复制代码
from langchain_community.chat_models.tongyi import ChatTongyi
from langchain_core.messages import HumanMessage,SystemMessage
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_core.documents import Document

二、知识库转换向量

使用通义千问的向量模型将私域知识库的数据转化为制定维度的向量,并将向量存入向量数据库pgvector中

python 复制代码
COLLECTION_NAME = "t_rag"
CONNECTION = "postgresql+psycopg://postgres:12346@server200:5432/postgres_db"

#实例化千问的向量模型
embedding = DashScopeEmbeddings(model="text-embedding-v3",dashscope_api_key="sk-xxx")

#**创建向量数据库
vector_store = PGVector(
    connection = CONNECTION,
    collection_name = COLLECTION_NAME,
    embeddings = embedding
)

准备文本转化向量存储

python 复制代码
def save_vector():
    print("save_vector  start .....")
    documents = [
        Document(page_content="段一凡出生东川县一个农民工家庭,毕业于江南大学,成绩优异",metadata={"source":"brief"},id=1),
        Document(page_content="现任吉南市环保局局长,曾任市共青团副书记,此前还担任过回龙乡乡长、党委书记等职务",metadata={"source":"brief"},id=2),
        Document(page_content="肖素素、王雪莹、吴晓恙、刘淼淼这四个大美女与他都有着千丝万缕的关系",metadata={"source":"brief"},id=3),
        Document(page_content="肖素素某国开国将军的曾孙女,美丽智慧,某国企总经理,与段一凡生死患难,互生情愫,但二人身份差距悬殊",metadata={"source":"brief"},id=4),
        Document(page_content="王雪莹省战略策划室副主任王庆支之女,段一凡学妹,喜欢段一凡",metadata={"source":"brief"},id=5),
        Document(page_content="吴晓恙商人之家,典型富二代,喜欢段一凡",metadata={"source":"brief"},id=6),
        Document(page_content="刘淼淼冰冷美女,前县委书记刘海龙之女,刘海龙整治过段一凡,刘淼淼自杀,被段一凡救过,对段一凡产生爱意",metadata={"source":"brief"},id=7),
    ]
    uuids = [str(uuid4()) for _ in range(len(documents))]
    try:
        vector_store.add_documents(documents=documents, ids=uuids)
        print("save_vector successful.")
    except Exception as e:
        print(f"save_vector failed: {e}")
python 复制代码
def main():    
    save_vector()
   

文本数据库成功存入向量数据库

三、检索增强

将提示词和匹配向量一起发给大模型进行提问

python 复制代码
def rag_vector(query):
    print("query_vector  start .....")
    #results = vector_store.similarity_search(query = query,k=5,filter={"source": "brief"})
    #通过向量生成检索器
    retriever = vector_store.as_retriever(search_type="mmr", search_kwargs={"k": 5})
    prompt = hub.pull("rlm/rag-prompt")
    messages = prompt.invoke({
        "question": query,
        "context": retriever.invoke(query)
    })
    llm =  ChatTongyi(
        streaming = False,
        model = "qwen-plus",
        api_key = "sk-xxxx",
    )

    ai_message =  llm.invoke(messages)
    print("AI answer :----------",ai_message)
python 复制代码
def main():    
    rag_vector("段一凡是谁?")

大模型的回答基于上下文向量信息进行学习

相关推荐
编程武士1 小时前
从50ms到30ms:YOLOv10部署中图像预处理的性能优化实践
人工智能·python·yolo·性能优化
我的xiaodoujiao2 小时前
Windows系统Web UI自动化测试学习系列2--环境搭建--Python-PyCharm-Selenium
开发语言·python·测试工具
傻啦嘿哟4 小时前
Python SQLite模块:轻量级数据库的实战指南
数据库·python·sqlite
Q_Q5110082854 小时前
python+django/flask+uniapp基于微信小程序的瑜伽体验课预约系统
spring boot·python·django·flask·uni-app·node.js·php
XueminXu4 小时前
Python读取MongoDB的JSON字典和列表对象转为字符串
python·mongodb·json·pymongo·mongoclient·isinstance·json.dumps
techdashen4 小时前
12分钟讲解Python核心理念
开发语言·python
jie*5 小时前
小杰机器学习(nine)——支持向量机
人工智能·python·机器学习·支持向量机·回归·聚类·sklearn
闭着眼睛学算法5 小时前
【华为OD机考正在更新】2025年双机位A卷真题【完全原创题解 | 详细考点分类 | 不断更新题目 | 六种主流语言Py+Java+Cpp+C+Js+Go】
java·c语言·javascript·c++·python·算法·华为od
郝学胜-神的一滴5 小时前
谨慎地迭代函数所收到的参数 (Effective Python 第31条)
开发语言·python·程序人生·软件工程
有点不太正常5 小时前
FlippedRAG——论文阅读
论文阅读·安全·大模型·rag