本地部署DeepSeek R1大模型

一、安装软件

1.1 安装Ollama

你可以访问Ollama的官方网站https://ollama.com/download,选择适合你操作系统的安装包进行下载。老周这里是Mac系统,所以选择下载macOS系统。

1.2 安装cherry studio

前往官网https://cherry-ai.com/download下载对应操作系统的安装包


1.3 下载deepseek R1本地模型

直接前往Ollama官网:https://ollama.com/library/deepseek-r1

根据自己电脑的配置选择不同参数的模型,

查下自己MAC电脑的显存:

bash 复制代码
system_profiler SPDisplaysDataType | grep "VRAM"

根据自己电脑的配置选择不同参数的模型。

老周这里让 DeepSeek 帮我推荐使用哪个参数的模型。

根据推荐老周这里选择了8b参数的模型:

bash 复制代码
ollama run deepseek-r1:8b

打开终端(Mac OS)或运行(Windows,可以用win键+r快捷键弹出),粘贴刚刚复制的代码(ollama run deepseek-r1:8b)

接下来可能有点慢,测你家网速的时候到了。

下载完成后,你已经可以直接使用Deepseek R1这个大模型了。不过,为了让大家有更好的体验,我特别推荐使用Cherry Studio这个工具。它不仅能调用你本地下载的模型,还可以连接各种云端模型服务,使用起来非常便捷。

1.4 设置Cherry Studio

然后在聊天界面,选择你所要对话的大模型,就可以直接对话了。如果出现对话说明本地部署DeepSeek R1大模型成功了。如果出现404啥的说明你没有配置对API地址,检查下面这两个操作是否配置对了。

默认模型选择你下载好的模型~

我让DeepSeek帮我安排一个行程,推理阶段吃掉我一半的CPU、内存也只省2G左右。

相关推荐
wumingxiaoyao10 小时前
从 0 开始学 AI:第 2 课,AI、机器学习、深度学习和大模型是什么关系?
人工智能·深度学习·机器学习·ai·大模型·llm
leonshi12 小时前
Embedchain 是什么?用最简单的话讲清楚一个"AI 知识问答工具框架"
ai·rag
带刺的坐椅13 小时前
Agent Harness 实战指南:构建生产级 AI Agent 的"马具"框架
java·ai·llm·agent·solon-ai
weigangwin14 小时前
LlamaIndex 第一次试用:别先写 RAG Demo,先验上下文合同
python·ai·agent·rag·检索·llamaindex·观测性
Ricky_Theseus14 小时前
路由模式:智能分发 + 垂直 Agent
ai
XLYcmy15 小时前
核内调度问题的分层优化:缓存管理与性能均衡策略 模型评价 模型缺点与改进方向
缓存·ai·启发式算法·图神经网络·遗传算法·数模·模拟退火
wumingxiaoyao18 小时前
从 0 开始学 AI:第 4 课,CPU、GPU、显存和算力基础
人工智能·ai·cpu·gpu·显存
Dragon Wu18 小时前
ComfyUI ReActor需要下载检测模型的解决方案
人工智能·ai
雨辰AI18 小时前
【零基础实战】大模型入门面试 100 问:基础概念 + 环境实操(一问一答版,直接背诵)
人工智能·ai·面试·职场和发展·ai编程
Sam092718 小时前
【AI 算法精讲 16】BPE 分词:从字节对到子词
人工智能·python·算法·ai