Hey,小伙伴们!今天我要给大家带来一个超级实用的干货分享------如何用 Ollama + DeepSeek + FastGPT 搭建本地知识库,让你轻松拥有一个专属的智能助手!跟着我一步步来,保证你也能轻松搞定!
还不知道 Ollama + DeepSeek 怎么私有化部署的小伙伴,👇请先看这篇文章:
快上车!3 步搞定 DeepSeek 本地部署,小白也能轻松逆袭!
为啥要搞这个玩意儿?
在这个信息爆炸的时代,我们每天都要面对海量的知识和数据。无论是工作中的文件、会议记录,还是生活中的各种资料,都像是一堆乱麻,让人头疼。要是有个智能助手,能帮我们快速找到关键信息,那该多好呀!而 Ollama + DeepSeek + FastGPT 的组合,就像是给我们的大脑装上了超级搜索引擎。它不仅能帮我们整理和存储知识,让我们通过简单的对话就能获取想要的信息,还能让我们的工作效率翻倍,生活变得更加轻松有趣。
一、工具介绍
1. FastGPT:打造专属知识库的利器
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。它不仅能让我们搭建知识库,还能通过简单的界面,让我们快速创建各种应用。而且,它还支持联网搜索、飞书、钉钉、企业微信等插件,可以无缝衔接到我们常用的工作软件中。它的核心功能包括:
- 专属 AI 客服:通过导入文档或已有问答对进行训练,让 AI 模型能够根据你的文档以交互式对话方式回答问题。
- 简单易用的可视化界面:提供直观的操作步骤,即使是小白用户也能轻松上手。
- 自动数据预处理:支持多种数据导入方式,包括手动输入、直接分段、LLM 自动处理和 CSV 文件。
- 工作流编排:通过 Flow 模块,可以设计复杂的问答流程,比如查询数据库、查询库存等。
- 强大的 API 集成:对齐 OpenAI 官方接口,可以直接接入现有的 GPT 应用。
2. DeepSeek:低成本、高性能的 AI 模型
DeepSeek 是一款由深度求索公司开发的高性能 AI 大模型,基于深度学习和多模态数据融合技术,采用先进的 Transformer 架构和跨模态协同算法。它在极低成本下实现了与国际顶尖模型相媲美的性能表现,中文理解与输出能力更是远超 ChatGPT 等顶尖模型。DeepSeek 的核心优势包括:
- 多模态交互:支持文本、图像、PDF 等多格式输入,还能进行中英文 OCR 识别和图表数据提取。
- 实时信息获取:支持联网更新知识库,每日更新,确保信息的时效性。
- 专业领域强化:在数学公式推导、代码生成与调试、学术文献解析等方面表现出色。
- 隐私保护:端到端加密,通过三级等保认证,确保数据安全。
3. Ollama:本地部署的神器
Ollama 是一个开源工具,专门用来在本地运行大语言模型(LLMs)。它的厉害之处在于,我们可以在自己的电脑上,不依赖云服务,就能高效地加载和运行这些强大的 AI 模型。这就像是把一个超级智能的"大脑"装进了自己的口袋,随时随地都能用。以下是 Ollama 的主要特点:
- 本地部署,隐私保护:Ollama 支持在 Windows、macOS 和 Linux 等系统本地运行模型,无需依赖云端,数据交互全程在本地完成,避免隐私泄露。
- 丰富模型库,开箱即用:Ollama 预集成了多种主流开源模型,如 Llama 2、DeepSeek-R1、Mistral 等,覆盖文本生成、代码开发、多语言翻译等场景。
- 极简交互,命令行与 API 双支持:
- 命令行操作:通过 ollama run [模型名] 一键下载并启动模型,支持流式对话。
- API 接口:默认开放 11434 端口,兼容 OpenAI API 格式,可无缝对接 LangChain 等工具。
二、搭建本地知识库的详细步骤
1. 安装 Docker
为啥要装Docker?因为它能一键部署FastGPT(不仅FastGPT,大部分的开源项目都可以用docker一键部署),操作起来特别方便,所以我强烈建议玩AI的朋友都安装上docker。对于如何安装docker,网上已经有大量详细的教程,大家自己搜一下就行。
2. 部署 Embedding
在之前的文章中我们已经部署过 DeepSeek R1 这个模型,这里就不在赘述。现在我们部署 Embedding 模型,Embedding 是搭建知识库的关键。
Ollama官网:ollama.com/
进入官网后选择【Models】,再选择下方的【Embedding】,点击"nomic-embed-text",如下图:
复制命令,然后运行 ollama pull nomic-embed-text
耐心等待,安装成功如下图:
3. 部署 FastGPT
3.1 创建 FastGPT 目录并下载配置文件
Github地址:github.com/labring/Fas...
本地创建一个 FastGPT 目录,然后下载 config.json 和 docker-compose.yml 文件,如下图:
若无法访问Github,可点击下方网盘下载:
arduino
下载链接:https://pan.quark.cn/s/f95cbab89b95
下载完成后如下图:
将"docker-compose-pgvector.yml"重命名为"docker-compose.yml"。
3.2 启动容器
打开命令提示符,进入 FastGPT 目录下的 docker 目录,再输入 docker-compose up -d 指令,回车
耐心等待,成功后的界面如下:
容器启动成功后会在 Docker 中看到 fastgpt,如下图:
4. 配置 FastGPT
4.1 登录 FastGPT
打开 FastGPT 地址:http://localhost:3000/
默认账号密码: root/1234
登录后进入主界面,如下图:
4.2 配置模型
点击左侧菜单【账号】,选择【模型提供商】,点击【模型配置】,点击右上角【新增模型】按钮并选择"语言模型",如下图:
输入"模型ID"、"模型提供商"、"模型",且"模型ID"需与Ollama中安装的模型名称一致,如下图:
继续点击右上角【新增模型】按钮并选择"索引模型",同样,输入"模型ID"、"模型提供商"、"模型",且"模型ID"需与Ollama中安装的模型名称一致,如下图:
确认添加后,回到列表中点击"启用"列,可以看到刚刚添加的两个模型已启用,如下图:
4.3 配置模型渠道
tab页切换到【模型渠道】,点击【新增渠道】
填入"渠道名"、选择"厂商"和模型、输入代理地址后点击【新建】,如下图:
4.4 测试模型
tab页切换到【模型配置】,点击【模型测试】按钮校验已添加的模型是否可用,如下图:
若显示"成功"就证明可以使用了。
5. 创建应用
回到【工作台】主界面,点击右上角【新建】按钮,选择"简易应用"
输入应用名称,选择"创建空白应用"
AI模型选择前面我们添加过的模型,如下图:
然后在右侧聊天区域中输入"你是谁?",输出结果如下:
6. 添加本地知识库
6.1 新建知识库
选择左侧菜单栏中的【知识库】,点击右上角【新建】按钮,选择"通用知识库"。
输入"知识库名称"、选择"索引模型"和"文本理解模型",点击【确认创建】
6.2 导入数据集
右上方点击【新建/导入】,选择"文本数据集"
选择"本地文件"后点击【确认】按钮,如下图:
上传资料,点击【下一步】
按需选择对应的"处理方式"和"参数设置",点击【下一步】
点击左侧的文件,我们可以在右侧预览分块,继续点击【下一步】
点击【开始上传】
当状态显示为"已就绪"时,说明知识库已经搭建完成
7. 测试知识库
点击左侧菜单中的【工作台】,回到我们刚刚创建的应用"智能助手",进行知识库关联,如下图:
完成关联后,点击【参数】进行配置,可以设置"搜索模式"、"搜索过滤"和"问题优化",这里设置"问题优化",AI模型还是选择deepseek r1,如下图:
接下来,在右侧对话框中输入"提问的万能公式是什么?",输出的内容如下:
可以看到给出了思考过程,并且显示了引用的知识库文档,处理时间及详情信息。下面不关联知识库,输入"提问的万能公式是什么?",输出的内容如下:
三、总结
看到这里,是不是觉得构建智能应用其实并不难呀?技术赋能的时代已经来临,关键在于我们是否愿意勇敢地去尝试。当工具变得触手可及,真正能决定我们成就的,唯有我们的创意与实践。
所以,小伙伴们,赶紧动手搭建自己的本地知识库吧!相信我,这绝对会成为你工作和生活中的超级助手。
如果你觉得这篇文章对你有帮助,别忘了点赞、在看、转发哦!因为你的支持就是我最大的动力呀!