SparkX结合Ollama搭建本地知识库

Ollama是一个开源的本地大语言模型(LLM)运行框架,专注于简化和优化大型语言模型在个人设备上的部署与管理,支持主流模型的快速运行与集成。借助Ollama 强大的功能我们无需关注本地模型部署的各种复杂的依赖。如何在SparkX中使用Ollama呢?

开源地址:
github.com/nick-bai/Sp...
gitee.com/shop-sparke...

本文以macos 环境为例,其他环境除了装Ollama略有不同,其余的均一致

安装 ollama

1、下载Ollama

打开 ollama的官网 ollama.com/

点击下载,根据自己系统选择对应的版本。

正常情况下,系统会自动检测当前的操作系统,默认选择对应的版本。点击下载即可。

2、安装ollama

没有啥特殊的配置的话,一路下一步。

3、验证是否安装完毕

打开命令行输入

复制代码
ollama -v

出现如下的画面,表示安装完成。

在SparkX中使用Ollama

1、语言模型

我们选择一个自己系统可以部署的模型,打开 Ollama官网,点击Models
ollama.com/search

我们选择一个 qwen3 模型

点击进去,这里我 选择 1.7b 模型,复制拉取命令

arduino 复制代码
ollama run qwen3:1.7b

打开命令行执行,等待模型拉去完成。

拉去完毕之后,模型会自动启动。我们输入 你好,能看到模型正常的回复了。

接下来我们打开 SparkX的模型管理,填写 Ollama 的可用模型 qwen3:1.7b

保存提交。然后在应用中选择我们设置的 模型

此时,就可以在应用中使用 Ollama 中的 qwen3 模型了

2、向量模型

打开 Ollama 官网,选择 embedding 模型

这里我们选择 一个,以 bg3-m3 为例子,复制拉去命令

复制代码
ollama pull bge-m3

拉去完毕之后,我们打开 SparkX 的向量模型配置,输入可用模型为 bge-m3

知识库就可以配置 bge-m3 模型了

传入文本,选择向量化

等待完成向量化

3、重排模型

打开 Ollama 官网,选择 搜索 rerank 模型

我们选择拉去 bge-reranker-v2-m3,复制 拉去命令

bash 复制代码
ollama pull linux6200/bge-reranker-v2-m3

打开 SparkX 的重排模型,输入重排名称

在应用中就可以选择这个重排模型了

相关推荐
野犬寒鸦1 天前
从零起步学习并发编程 || 第一章:初步认识进程与线程
java·服务器·后端·学习
我爱娃哈哈1 天前
SpringBoot + Flowable + 自定义节点:可视化工作流引擎,支持请假、报销、审批全场景
java·spring boot·后端
李梨同学丶1 天前
0201好虫子周刊
后端
思想在飞肢体在追1 天前
Springboot项目配置Nacos
java·spring boot·后端·nacos
Loo国昌1 天前
【垂类模型数据工程】第四阶段:高性能 Embedding 实战:从双编码器架构到 InfoNCE 损失函数详解
人工智能·后端·深度学习·自然语言处理·架构·transformer·embedding
ONE_PUNCH_Ge1 天前
Go 语言泛型
开发语言·后端·golang
良许Linux1 天前
DSP的选型和应用
后端·stm32·单片机·程序员·嵌入式
不光头强1 天前
spring boot项目欢迎页设置方式
java·spring boot·后端
怪兽毕设1 天前
基于SpringBoot的选课调查系统
java·vue.js·spring boot·后端·node.js·选课调查系统
学IT的周星星1 天前
Spring Boot Web 开发实战:第二天,从零搭个“会卖萌”的小项目
spring boot·后端·tomcat