10分钟构建本地RAG应用

准备工作

本地模型

模型分为两种:

1.专有模型:闭源模型

  1. OpenAI GPT4
  2. Cluade

优点:强大的商业支持

缺点:付费、数据的隐私

2.开源模型(学习阶段)

  • 微软:Phi
  • Meta:Llama
  • deepseek

不需要联网

安装Ollama

  • Ollama:模型平台,可以安装各种模型:Qwen、Deepseek、Llama...
  • Llama:模型(最新 Llama)
arduino 复制代码
ollama run <模型的名字>

本身是运行XX模型的意思,如果没有该模型,会先去下载。

启动模型后,ollama 会启动一个服务,坚听 11434 端口。

bash 复制代码
curl http://localhost:11434/api/tags   # 查看本地模型

本地的一个聊天机器人

回头RAG应用基于这个聊天机器人。

RAG基本的理论

大语言模型的缺陷:回答问题基于训练过的数据。

RAG:Retrieval-Augmented Generation,检索增强生成。

RAG 就是临时给大模型外挂一个知识库

整个 RAG 的架构如下:

1. 数据索引

Data Indexing

数据索引主要是做下面几件事情:

  1. 加载文档(你要外挂的知识库)

  2. 切分成一个一个 chunks(块)

  3. 转换为高维度向量

  4. 将结果存储到向量数据库

    这是一只小猫。

csharp 复制代码
[0.71, 0.32, -0.56, ....]

2. 数据查询

Query

复制代码
介绍一下香蕉手机。

首先会把这个 Query 也转换成向量的形式。(方便计算)

拿到这个 Query Embeding 之后,去向量数据库里面找和 Query Embeding 相关的内容,取出相关内容的向量(Vector Embedding),然后将:

markdown 复制代码
1. Vector Embedding
2. 用户的问题

一起交给大模型进行处理。

相关推荐
周小董3 小时前
[1336]python rich库
程序员
AI Echoes3 小时前
别再手工缝合API了!开源LLMOps神器LMForge,让你像搭积木一样玩转AI智能体!
人工智能·python·langchain·开源·agent
AI Echoes3 小时前
从零构建企业级LLMOps平台:LMForge——支持多模型、可视化编排、知识库与安全审核的全栈解决方案
人工智能·python·langchain·开源·agent
摆烂工程师3 小时前
教你如何认证 Gemini 教育优惠的二次验证,薅个 1年的 Gemini Pro 会员
后端·程序员·gemini
考虑考虑7 小时前
Redis8中的布谷鸟过滤器
redis·后端·程序员
我要改名叫嘟嘟9 小时前
程序员找“出路”之写作读书满五年
程序员
文心快码 Baidu Comate9 小时前
AI界的“超能力”MCP,到底是个啥?
人工智能·程序员·ai编程·文心快码·comate zulu
周小董9 小时前
[1335]pyperclip模块安装和使用
程序员
温柔哥`18 小时前
AgentThink:一种在自动驾驶视觉语言模型中用于工具增强链式思维推理的统一框架
语言模型·自动驾驶·agent·工具调用·grpo·强化微调·tool call