Mac 基于 Ollama 安装 DeepSeek-R1(蒸馏版本)、AnythingLLM 及使用体验

文章目录

  • [Mac 基于 Ollama 安装 DeepSeek-R1(蒸馏版本)、AnythingLLM 及使用体验](#Mac 基于 Ollama 安装 DeepSeek-R1(蒸馏版本)、AnythingLLM 及使用体验)
    • [Ollama 简介](#Ollama 简介)
    • [下载与安装 Ollama](#下载与安装 Ollama)
    • [下载并运行 DeepSeek-R1](#下载并运行 DeepSeek-R1)
      • [1. 在终端运行(建议从 8B 开始)](#1. 在终端运行(建议从 8B 开始))
      • [2. 本地模型存储路径](#2. 本地模型存储路径)
      • [3. 终端测试](#3. 终端测试)
      • [4. 查询服务状态](#4. 查询服务状态)
      • [5. 退出服务](#5. 退出服务)
    • [下载并运行 AnythingLLM](#下载并运行 AnythingLLM)
      • [1. 下载与安装](#1. 下载与安装)
      • [2. 设置 LLM 偏好](#2. 设置 LLM 偏好)
      • [3. 数据处理与隐私](#3. 数据处理与隐私)
      • [4. 创建工作空间](#4. 创建工作空间)
    • 使用体验总结

Mac 基于 Ollama 安装 DeepSeek-R1(蒸馏版本)、AnythingLLM 及使用体验

Ollama 简介

Ollama 是一个基于 TensorFlow 的开源项目,提供轻量级的 AI 运行时框架。它允许用户在本地环境中运行预训练的语言模型,无需依赖云端服务。


下载与安装 Ollama

  1. 下载 Ollama

    从官网 Ollama 下载页 获取 mac 版本。

  2. 安装

    下载完成后,双击安装包并按照指引完成安装。


下载并运行 DeepSeek-R1

1. 在终端运行(建议从 8B 开始)

bash 复制代码
ollama run deepseek-r1:8b

ollama run 是 Ollama 提供的命令行工具,用于在本地运行预训练模型,其基本功能包括:

  • 加载本地模型文件:检查本地存储路径,寻找已下载的模型。
  • 运行模型:启动一个本地服务,等待输入并生成输出。

2. 本地模型存储路径

bash 复制代码
cd $HOME/.ollama/models/manifests/registry.ollama.ai/library

3. 终端测试

运行命令后,出现 >>> 提示符,即可输入问题进行测试。

4. 查询服务状态

bash 复制代码
ollama ps

5. 退出服务

>>> 提示符后输入:

bash 复制代码
/bye

下载并运行 AnythingLLM

1. 下载与安装

AnythingLLM 官网 下载 mac 版本,双击安装。

2. 设置 LLM 偏好

在 "Search LLM providers" 选项中选择 "Ollama"

3. 数据处理与隐私

  • Embedding 模型使用 AnythingLLM 自带的小模型。
  • 向量存储使用其自带的向量库。

4. 创建工作空间

安装完成后,创建一个工作空间,然后即可输入和测试模型。


使用体验总结

优点:

  • 在本地运行,无需依赖云端,数据更私密。
  • 配置相对简单,适合开发者和 AI 研究者。

缺点:

  • 笔记本容易发烫:轻度使用时还可以接受。
  • AnythingLLM 目前版本问题
    • 似乎无法手动终止会话。
    • 上下文管理容易混乱。
相关推荐
格林威3 分钟前
Baumer工业相机堡盟工业相机如何通过DeepOCR模型识别判断数值和字符串的范围和相似度(C#)
开发语言·人工智能·python·数码相机·计算机视觉·c#·视觉检测
不爱学英文的码字机器6 分钟前
Claude Code: Best practices for agentic coding
人工智能
代码老y14 分钟前
数据挖掘:从理论到实践的深度探索
人工智能·数据挖掘
九章云极AladdinEdu26 分钟前
冷冻电镜重构的GPU加速破局:从Relion到CryoSPARC的并行重构算法
人工智能·pytorch·深度学习·机器学习·自然语言处理·架构·gpu算力
HMS Core31 分钟前
用AI重塑游戏体验:《诛仙2》携手HarmonyOS SDK实现性能与功耗双赢
人工智能·游戏·harmonyos
jndingxin1 小时前
OpenCV哈希算法------Marr-Hildreth 边缘检测哈希算法
人工智能·opencv·哈希算法
金智维科技1 小时前
揽获双奖!2025大湾区珠港澳计算机设计大赛,金智维再现创新实力
人工智能
qiyue771 小时前
AI编程专栏(五)-提示词知识-通用提示结构或框架
人工智能·ai编程
小塵1 小时前
【DeepSeek 聊天】五分钟部署本地 DeepSeek
人工智能·后端·deepseek
clz13145211 小时前
二,神经网络
人工智能·深度学习·神经网络