macOS操作系统部署开源DeepSeek大模型,搭建Agent平台,构建私有化RAG知识库完整流程
- [1 部署DS大模型](#1 部署DS大模型)
-
- [1.1 下载macOS版ollama](#1.1 下载macOS版ollama)
- [1.2 验证](#1.2 验证)
- [1.3 部署DeepSeek模型](#1.3 部署DeepSeek模型)
- [1.4 测试对话](#1.4 测试对话)
- [2 搭建Agent](#2 搭建Agent)
-
- [2.1 下载macOS版本 AnythingLLM](#2.1 下载macOS版本 AnythingLLM)
- [2.2 切换中文](#2.2 切换中文)
- [2.3 配置本地服务](#2.3 配置本地服务)
- [3 构建RAG知识库](#3 构建RAG知识库)
-
- [3.1 部署BGE-M3](#3.1 部署BGE-M3)
- [3.2 配置本地嵌入模型](#3.2 配置本地嵌入模型)
- [3.3 新建工作区](#3.3 新建工作区)
- [3.4 上传文档](#3.4 上传文档)
- [3.5 测试对话](#3.5 测试对话)
昨天在马路上捡到一台全新的Mac Studio。

拆开一看配置还挺高的,好家伙早就听说macOS操作系统也非常适合拿来跑大模型了,赶紧激活系统试了一下,以下是部署流程的完整记录。

1 部署DS大模型
1.1 下载macOS版ollama
访问 ollama官网 下载macOS版ollama,将 Ollama 图标拖入 Applications 文件夹。

1.2 验证
在终端中执行验证是否安装成功
ollama --version
输出(例):
ollama version is 0.11.2

1.3 部署DeepSeek模型
在终端中执行部署DeepSeek模型
ollama run deepseek-r1:14b
1.4 测试对话
部署完成后,启动模型进行对话

或在ollama界面输入问题,观察是否响应,ollama 界面时需要选择指定模型,选择未下载的模型发送信息ollama会自动拉取模型到本地

2 搭建Agent
2.1 下载macOS版本 AnythingLLM
访问 AnythingLLM官网 下载macOS版本 AnythingLLM


2.2 切换中文
启动AnythingLLM,进入设置页面,将语言切换为中文

2.3 配置本地服务
配置本地ollama deepseek-r1:14b 大模型服务



做好本地模型、tokens、url等配置
模型勾选ollama已部署的deepseek-r1:14b,tokens上调至8192,本地默认地址及端口为127.0.0.1:11434
完成后右上角 保存【Save changes】

3 构建RAG知识库
3.1 部署BGE-M3
在终端中执行部署BGE-M3 嵌入模型
ollama run bge-m3

3.2 配置本地嵌入模型
在AnythingLLM 中配置本地嵌入模型,操作同2.3

3.3 新建工作区


在新建的工作区(my first workspace)配置聊天设置和向量数据库


文档相似度阈值设置最高

3.4 上传文档
这里为了突显测试结果,创建了2个不同格式的文档。
txt文档内容为
高克莱是一个程序员,高克莱养了三只猫。
word文档内容为
第一只猫叫可乐
第二只猫叫雪碧
第三只猫叫芬达

在工作区点击上传图标



保存并嵌入后,务必要点击需要参与检索的文档右侧的【Pin to workspace】图标与当前工作区进行关联,这样大模型在检索生成回答内容时会优先参考该文档内容,如果未点击,则只是将文档存储到了全局库中,并不参与检索


3.5 测试对话

部署完成