Windows系统本地知识库构建:Cherry Studio+Ollama

本文较长,建议点赞收藏。更多AI大模型应用开发学习视频及资料,在智泊AI。

  • 数据安全:数据不出本地,无泄露风险。
  • 零成本运行:核心组件(Ollama, Cherry Studio, 开源模型)免费。
  • 控制权:可自由选择和更换本地模型。

本地部署对硬件有一定要求。建议至少拥有16GB内存和一块支持CUDA(NVIDIA)或Metal(Apple Silicon)的显卡,以获得流畅的体验。CPU也可以运行,但速度会慢很多。

Ollama本地部署

Ollama是一个极简的本地大模型运行框架,能让您一键启动并管理本地模型。

下载 Ollama

官网:ollama.com/

LLM问答模型:

生成自然语言的答案。deepseek-r1:1.5b配置要求不高,但生成效果不怎么样,这里只是用来测试知识库。安装其它模型可以去ollama 官网看看。

复制代码
ollama pull deepseek-r1:1.5b

Embedding模型:

Embedding模型负责将文本转换为向量,构建知识库。

bash 复制代码
ollama pull shaw/dmeta-embedding-zh:latest

启动 Ollama

ollama 也有 chat 窗口,如果只是问答的话可以用。

复制代码
ollama listollama ps

Cherry Studio

Cherry Studio 是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。

下载安装

官网:www.cherry-ai.com/

配置模型服务:

点击右上角的设置图表,选择"模型服务"

arduino 复制代码
http://localhost:11434

找到 Ollama,在 API地址栏中(默认就行)

在 Ollama 开启的状态下,点击下面的管理,点一下需要用到的模型。

将刚刚拉取的 shaw/dmeta-embedding-zh:latest 和 deepseek-r1:1.5b 添加到模型列表中。

创建知识库

设置中,选择常规设置,打开知识库。

点击首页旁边的"+",选择知识库,然后点击"添加",输入知识库名称。

点击设置图标

选择嵌入模型shaw/dmeta-embedding-zh:latest

回到知识库的界面上传文件,也可以通过"笔记"自己输入内容,添加目录和网址等。Cherry Studio会自动在后台进行文本分块和向量化处理。处理完成后,文件会显示绿色对勾。

官方文档

docs.cherry-ai.com/

使用示例

在聊天窗口中选中添加的知识库

点击"@"图标,选择大模型

deepseek-r1:1.5b不太行。

此外,如果本地大模型带不动,可以考虑使用线上的大模型搭配本地的知识库。

学习资源推荐

如果你想更深入地学习大模型,以下是一些非常有价值的学习资源,这些资源将帮助你从不同角度学习大模型,提升你的实践能力。

本文较长,建议点赞收藏。更多AI大模型应用开发学习视频及资料,在智泊AI。

相关推荐
小七-七牛开发者6 分钟前
Personal Agent 真能越用越懂你吗?AdaptArena 揭示个性化 Web Agent 的失效链路
ai·agent·web agent·personal agent·adaptarena·个性化智能体
XLYcmy16 分钟前
AI 赋能后中文与英文数据库对比分析报告 上
数据库·ai·llm·prompt·检索·wos·cnki
独码侠44 分钟前
第04篇·Codex Harness 审批×权限边界:4 档策略怎么选,密钥与仓库永远碰不到
ai·agent·codex
for_ever_love__2 小时前
LangChain 降级、重试与超时:让服务在模型抽风时还能用
python·自然语言处理·langchain·agent·超时·重试·with_retry
桃西西呀2 小时前
LangGraph4j之四:运行引擎与流式
人工智能·llm·ai编程
桃西西呀2 小时前
LangGraph4j之五:持久化与断点续跑
人工智能·llm·ai编程
方方洛3 小时前
ai-agent教程-05-上下文工程
人工智能·llm·agent
用户721746588263 小时前
三条热词通道的机制拆解:bl speech 的参数面、生效模型范围与错配读数
llm·agent·ai编程
森码3 小时前
一条 Prompt 在 Harness 中经过了谁?
agent
程序员大狐狸3 小时前
Ultra X7 358H 笔记本电脑,本地部署 Bonsai-2-27B,实测生成速度 11.6 tok/s
人工智能·llm