Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及使用体验

文章目录

• [Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及使用体验](#Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及使用体验)
• • [Ollama 简介](#Ollama 简介)
  • [下载与安装 Ollama](#下载与安装 Ollama)
  • [下载并运行 DeepSeek-R1](#下载并运行 DeepSeek-R1)
  • • [1. 在终端运行（建议从 8B 开始）](#1. 在终端运行（建议从 8B 开始）)
    • [2. 本地模型存储路径](#2. 本地模型存储路径)
    • [3. 终端测试](#3. 终端测试)
    • [4. 查询服务状态](#4. 查询服务状态)
    • [5. 退出服务](#5. 退出服务)
  • [下载并运行 AnythingLLM](#下载并运行 AnythingLLM)
  • • [1. 下载与安装](#1. 下载与安装)
    • [2. 设置 LLM 偏好](#2. 设置 LLM 偏好)
    • [3. 数据处理与隐私](#3. 数据处理与隐私)
    • [4. 创建工作空间](#4. 创建工作空间)
  • 使用体验总结

Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及使用体验

Ollama 简介

Ollama 是一个基于 TensorFlow 的开源项目，提供轻量级的 AI 运行时框架。它允许用户在本地环境中运行预训练的语言模型，无需依赖云端服务。

---

下载与安装 Ollama

1. 下载 Ollama

   从官网 Ollama 下载页 获取 mac 版本。

2. 安装

   下载完成后，双击安装包并按照指引完成安装。

---

下载并运行 DeepSeek-R1

1. 在终端运行（建议从 8B 开始）

ollama run deepseek-r1:8b

ollama run 是 Ollama 提供的命令行工具，用于在本地运行预训练模型，其基本功能包括：

• 加载本地模型文件：检查本地存储路径，寻找已下载的模型。
• 运行模型：启动一个本地服务，等待输入并生成输出。

2. 本地模型存储路径

cd $HOME/.ollama/models/manifests/registry.ollama.ai/library

3. 终端测试

运行命令后，出现 >>> 提示符，即可输入问题进行测试。

4. 查询服务状态

ollama ps

5. 退出服务

在 >>> 提示符后输入：

/bye

---

下载并运行 AnythingLLM

1. 下载与安装

从 AnythingLLM 官网 下载 mac 版本，双击安装。

2. 设置 LLM 偏好

在 "Search LLM providers" 选项中选择 "Ollama"。

3. 数据处理与隐私

• Embedding 模型使用 AnythingLLM 自带的小模型。
• 向量存储使用其自带的向量库。

4. 创建工作空间

安装完成后，创建一个工作空间，然后即可输入和测试模型。

---

使用体验总结

✅ 优点：

• 在本地运行，无需依赖云端，数据更私密。
• 配置相对简单，适合开发者和 AI 研究者。

❌ 缺点：

• 笔记本容易发烫：轻度使用时还可以接受。
• AnythingLLM 目前版本问题 ：
  • 似乎无法手动终止会话。
  • 上下文管理容易混乱。