搭建本地大模型知识库

前言

这章节主要是讲如何用本地的,一个很小的大模型,搭建一个自己的知识库,体验一下大模型的一个知识库的能力,还有大模型的一个检索能力。

配置Ollama模型的目录

到官网下载欧拉玛一个大模型管理工具之后就要配置他的一个大模型的一个安装目录,当然也可以使用默认的

下载大模型

你可以直接在这上面选择输入的内容模型的内容,直接下载一边使用命令的方式

这边是使用命令的方式,先去官网检索搜索到对应的大模型,选择相应的版本,复制他们的命令担保

搜索文本bge-m3,这是其中的一个模型不用处理本地知识库

接下来自己输入命令也好,或者是在下拉选择也好,把模型库下载下来之后的就是建立知识库了

Cherry AI大模型管理平台

介绍一个另外一个大模型的管理工具平台,它集成了很多个平台的大模型,你可以用接入API的方式,也可以以用导入的方式,它可以读取本地的大模型配置

使用API的方式

这次我们选择使用硅基流动的API的方式来导入模型服务,这样的话你就可以使用工具来进行一个访问,当然其他的也可以,比如现在很流行的deepseek,通义千问,豆包等等。

创建知识库

选择一些景点的知识库

然后把这些文档添加到知识库里面

接着进行文本的时候就可以添加对应的知识库了

当你进行提问的时候,他会自动去解锁知识库优先使用知识库里面的内容,我选的这个模型是比较小的,所以整体而言,他的提问的质量不是特别的高

总结

主要是介绍一种本地搭建知识库的方式,体验一下大模型的一个轻量化小型化的一个体验方式,当然也可以用来进行微调,比起供网上面的大模型,这个差距太多了,这个是一个很小的一个模型,只是用来感受一下大模型。

相关推荐
AI02262 小时前
探秘AI Agent软件公司:开启智能时代的创新引擎
人工智能
fīɡЙtīиɡ ℡4 小时前
AI 应用系统设计
java·开发语言·人工智能
小淮AI4 小时前
国际教育课程的本土化探索:以枫叶教育三十年为观察样本
大数据·人工智能
又折桃枝换酒钱4 小时前
VisCoder2:构建多语言可视化编码智能体(翻译与解读)
人工智能·信息可视化
AI绘画哇哒哒4 小时前
【建议收藏!】35岁后端血泪忠告,这3类人别硬转Agent(过来人亲述)
java·人工智能·后端·ai·程序员·大模型·agent
Chengbei114 小时前
DSH渗透测试插件dsh-pentest全新升级!适配DeepSeek Harness,可视化探索链路,一键搭建轻量化AI渗透测试环境。
人工智能·web安全·网络安全·微信·小程序·系统安全·安全架构
Tbisnic4 小时前
BGE-M3 算法详解:从模型架构到三种检索方式的数学原理
算法·自然语言处理·大模型·bert·transformer·注意力机制
QN1幻化引擎5 小时前
DalinX Phi 性能突破:跨层秩保持对齐与意识涌现度量的实证研究
人工智能·ai·架构·agi·asi
NeilCarmack5 小时前
Deepseek-harness增加桌面版端序列:第 1 讲 · 命令解析:`pnpm dsh desktop` 的第一步
人工智能·agent·ai agent