15天学会AI应用开发(八)使用向量数据库实现RAG功能

上一篇文章采用字符串匹配的方式来查找知识,这种方式比较呆板不够智能,接下来引入向量数据库,通过向量化实现更精细的知识检索。

一、文本嵌入Embedding模型

向量化一段文本的时候,经常用到all-MiniLM-L6-v2,它是一个轻量级的文本嵌入Embedding模型,专门把文字转成数字向量,给RAG做语义检索用。

命令行通过cd命令进入Python工程的所在目录,再执行下面的模型下载命令,可将all-MiniLM-L6-v2保存到本地目录:

复制代码
modelscope download --model sentence-transformers/all-MiniLM-L6-v2 --local_dir all-MiniLM-L6-v2

接着编写下面的Python代码,就表示把指定文本转成数字向量,也就是对文本做向量化处理:

复制代码
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("./all-MiniLM-L6-v2")
vectors = model.encode("什么是RAG")

二、向量检索库FAISS

把文本向量化之后,还要找个地方保存向量数据,以便后续从数据集中检索知识。

FAISS就是一个本地、超快、免费的语义检索工具,专门用来在RAG里找"最相似的知识"。

Python代码里的FAISS主要完成三件事:建立索引、放入知识向量、在用户提问时检索知识,如下代码所示:

复制代码
import faiss

# 建立索引(相当于建了个检索表)
index = faiss.IndexFlatL2(vectors.shape[1])

# 把知识向量放进去
index.add(np.array(vectors).astype("float32"))

# 用户提问 → 检索最相似的1条
D, I = index.search(...)

三、结合all-MiniLM-L6-v2与FAISS实现RAG

接下来演示如何使用all-MiniLM-L6-v2与FAISS实现RAG检索功能。在编写Python代码前,要先在命令行执行下面的pip安装命令:

复制代码
pip install faiss-cpu sentence-transformers

然后编写下面的Python检索测试代码:

复制代码
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# ===================== 你的知识库(完全不变) =====================
knowledge = [
    "什么是AI:人工智能(AI)是一门使机器模拟人类智能的技术。",
    "什么是RAG:RAG代表检索增强生成,通过检索外部知识提升大模型回答准确性。",
    "本地RAG消耗Token吗:本地RAG不调用云端API,不消耗Token,完全免费。",
    "FAISS是什么:FAISS是Facebook开源的向量检索库,用于本地高效检索。",
    "RAG的作用:RAG让大模型能引用外部知识,避免胡说八道。"
]

# ===================== 加载你本地已有的模型(不变) =====================
embed_model = SentenceTransformer("./all-MiniLM-L6-v2", device="cpu")

# 生成向量(把知识库向量化)
vectors = embed_model.encode(knowledge)

# 构建 FAISS 索引
index = faiss.IndexFlatL2(vectors.shape[1])
index.add(np.array(vectors).astype("float32"))

# ===================== RAG 检索(逻辑不变) =====================
def rag(question):
    print("\n 问题:" + question)
    # 把问题向量化
    q_vec = embed_model.encode([question])
    # 从 FAISS 检索对应的知识
    D, I = index.search(np.array(q_vec).astype("float32"), 1)
    best = knowledge[I[0][0]]
    answer = best.split(":")[-1]
    print(" 答案:" + answer)
    print("-" * 50)

# ===================== 运行 =====================
if __name__ == "__main__":
    print("=== 本地智能 RAG 系统:问什么答什么 ===")
    while True:
        q = input("\n请输入问题(q退出):")
        if q.lower() == "q":
            break
        rag(q)

运行上面的Python代码,根据提示输入问题"什么是FAISS?",输出日志结果如下:

复制代码
=== 本地智能 RAG 系统:问什么答什么 ===

请输入问题(q退出):什么是FAISS?

 问题:什么是FAISS?
 答案:FAISS是Facebook开源的向量检索库,用于本地高效检索。
--------------------------------------------------

可见即使问题文本与知识库不是完全的字符串匹配("什么是FAISS?"对"FAISS是什么"),all-MiniLM-L6-v2模型结合FAISS也能正确识别出问题意图,并给出准确的回答。

本系列的AI应用开发文章目录为《15天学会AI应用开发全目录(零基础小白,零Token消耗)》。

相关推荐
从零开始学习人工智能7 小时前
【踩坑实录】WSL2 解决 onnxruntime\-gpu ImportError: libcudart\.so\.13 无 CUDA13 运行库问题
python
大明者省7 小时前
WSL2 Ubuntu22.04 GPU训练环境配置指南
人工智能·算法·计算机视觉
抱抱宝7 小时前
Agent-study项目教程(03):手写 Mini-ReAct Agent(不依赖框架)
javascript·人工智能·gpt·react.js·prompt·agent
抱抱宝7 小时前
大模型应用开发教程08 | 构建完整 RAG 应用(Chroma/FAISS 实战)
人工智能·gpt·prompt·agent
美团技术团队8 小时前
KDD‘26 美团学术论文精选及KDD Cup‘26 DataAgents赛道冠军思路解读
人工智能
AKAMAI8 小时前
当AI模型超出存储增长时
人工智能·云计算
卷无止境8 小时前
在 awesome-fastapi 里,哪些库值得一看?
后端·python
DS随心转小程序8 小时前
ChatGPT 文字怎么转为 word?解析各类转换方案,AI 导出鸭成为高效文档转换新选择
人工智能·chatgpt·word·豆包·deepseek·ai导出鸭
zhanghaha13148 小时前
Python进阶教程:6_JSON 数据解析 —— 新手完全指南
开发语言·python·json
乌恩大侠8 小时前
【AI-RAN】硬件产品:DELL 前传交换机
人工智能·spark·aerial·o-ru·ai-ran