10分钟构建本地RAG应用

准备工作

本地模型

模型分为两种:

1.专有模型:闭源模型

  1. OpenAI GPT4
  2. Cluade

优点:强大的商业支持

缺点:付费、数据的隐私

2.开源模型(学习阶段)

  • 微软:Phi
  • Meta:Llama
  • deepseek

不需要联网

安装Ollama

  • Ollama:模型平台,可以安装各种模型:Qwen、Deepseek、Llama...
  • Llama:模型(最新 Llama)
arduino 复制代码
ollama run <模型的名字>

本身是运行XX模型的意思,如果没有该模型,会先去下载。

启动模型后,ollama 会启动一个服务,坚听 11434 端口。

bash 复制代码
curl http://localhost:11434/api/tags   # 查看本地模型

本地的一个聊天机器人

回头RAG应用基于这个聊天机器人。

RAG基本的理论

大语言模型的缺陷:回答问题基于训练过的数据。

RAG:Retrieval-Augmented Generation,检索增强生成。

RAG 就是临时给大模型外挂一个知识库

整个 RAG 的架构如下:

1. 数据索引

Data Indexing

数据索引主要是做下面几件事情:

  1. 加载文档(你要外挂的知识库)

  2. 切分成一个一个 chunks(块)

  3. 转换为高维度向量

  4. 将结果存储到向量数据库

    这是一只小猫。

csharp 复制代码
[0.71, 0.32, -0.56, ....]

2. 数据查询

Query

复制代码
介绍一下香蕉手机。

首先会把这个 Query 也转换成向量的形式。(方便计算)

拿到这个 Query Embeding 之后,去向量数据库里面找和 Query Embeding 相关的内容,取出相关内容的向量(Vector Embedding),然后将:

markdown 复制代码
1. Vector Embedding
2. 用户的问题

一起交给大模型进行处理。

相关推荐
爱编程的喵喵3 小时前
Al Agent开发零基础构建复合智能体
人工智能·agent·智能体
珊珊而川4 小时前
ReAct与PlanReAct的定义及区别
大模型·agent
黄啊码15 小时前
Coze新品实测:当AI开始像产品经理思考,我和程序员吵架的次数少了
人工智能·agent·coze
大模型教程16 小时前
如何在你的业务中选择RAG和Fine tuning?
程序员·llm·agent
AI大模型16 小时前
前端学 AI 不用愁!手把手教你用 LangGraph 实现 ReAct 智能体(附完整流程 + 代码)
前端·llm·agent
大模型教程16 小时前
LangGraph实战教程(1)- 从零开始认识LangGraph
langchain·llm·agent
算家计算16 小时前
Kimi新功能来了,全新Agent模式上线,命名致敬传奇音乐专辑?
人工智能·agent·资讯
OpenTiny社区18 小时前
基于华为云大模型服务MaaS和OpenTiny框架实现商城商品智能化管理
前端·agent·mcp
聚客AI19 小时前
🍇Embedding模型怎么选?一文解决RAG应用中最头疼的难题
人工智能·llm·agent
AI大模型20 小时前
干货分享 | 如何使用Cherry Studio快速上手AI学习实践
程序员·llm·agent