deepseek 本地部署

deepseek 本地部署

纯新手教学,手把手5分钟带你在本地部署一个私有的deepseek,再也不用受网络影响。流畅使用deepseek!!!

如果不想看文章,指路:Deep seek R1本地部署 小白超详细教程,请大家多多投币,不胜感激~~

Ollama 下载安装

  1. Ollama官网指路:Ollama,下载这步都会就没必要截图了,如果下载的慢建议科学上网,多试试。

  2. 在C盘以外的盘新建一个Ollama 文件夹存放ollama的安装位置(为什么要这样做,因为ollama不能指定安装位置)。

  3. 注意下载完成后不要立刻点击安装,将下载的可行性程序(OllamaSetup.exe)在文件资源管理器中打开,输入cmd

  4. 在命令行中执行如下命令:ollamasetup.exe /DIR=+文件夹路径,这个文件夹的路径就是你创建的Ollama文件夹。

  5. 指定位置安装后如下图所示:

  6. 现在要修改模型默认下载的位置(因为模型下载也是默认在C盘的,但是一般模型体积会很大,C盘吃不消的),在C盘以外的盘新建一个ollamaimagers 文件夹存放ollama的安装位置。

  7. 编辑系统环境变量:OLLAMA_MODELS,完成后,保存重启电脑,让环境变量生效。

小结:现在已经完成了Ollama指定位置的安装,和模型指定位置的安装

模型下载

  1. 模型网址链接:deepseek-r1

  2. 根据你自己的电脑配置,选择合适的模型进行下载,笔者这里使用的为1.5b模型,在命令行窗口中输入:ollama run deepseek-r1:1.5b

  3. 中途如果下载很慢,可以按ctrl + c结束下载,再运行模型下载的命令,会接着继续下载。

  4. 成功下载后,即可与本地deepseek对话。

附件

这是由deepseek推荐的各个模型的显卡配置:

模型规模 推荐显存(推理) 推荐显卡(推理) 推荐显存(训练) 推荐显卡(训练) 备注
1.5B ≥4GB GTX 1660 (6GB)、RTX 3050 (8GB) ≥8GB RTX 3060 (12GB)、RTX 2080 Ti (11GB) FP16推理,训练需额外显存。
7B ≥16GB RTX 3090 (24GB)、RTX 4090 (24GB) ≥24GB 单卡A100 40GB、双RTX 3090(并行) 无量化时需24GB显存;4位量化可降至约8GB,单卡RTX 3090即可推理。
8B ≥16GB RTX 3090 (24GB)、Tesla T4 (16GB) ≥32GB 双A100 40GB(并行) 需注意T4可能因带宽不足导致速度较慢。
14B ≥28GB 单卡A100 40GB、双RTX 3090(并行) ≥56GB 双A100 40GB(并行)或四RTX 3090 4位量化推理需约14GB,单卡RTX 3090可运行。
32B ≥64GB(FP16) 双A100 40GB(并行)、四RTX 3090 ≥128GB 四A100 80GB集群、多卡H100 需模型并行;4位量化后显存降至约32GB,单A100 40GB可推理。
70B ≥140GB(FP16) 四A100 40GB(并行) ≥280GB 专业集群(如8xA100 80GB) 4位量化后显存约35GB,单A100 40GB可推理,但需优化库(如vLLM)。
671B ≥1.3TB(FP16) 大规模分布式系统(如TPU Pod) ≥2.6TB 超算集群(数百张A100/H100) 仅限企业和研究机构;需分布式训练框架(如DeepSpeed、Megatron-LM)。

Ollama 命令

  1. 输入ollama help,即可看到命令帮助,这里最常用的命令就是:ollama listollama run
  2. ollama list:查看下载的所有模型
  3. ollama run:运行你下再的模型,命令后面跟模型的名称,如:ollama run deepseek-r1:1.5b,即可重新开始对话。
  4. ollama rm:删除模型,命令后面跟模型的名称,如:ollama rm deepseek-r1:1.5b
相关推荐
迅易科技10 小时前
企业智能化第一步:用「Deepseek+自动化」打造企业资源管理的智能中枢
人工智能·知识图谱·deepseek
scimence11 小时前
DeepSeek API接口调用示例(开发语言C#,替换其中key值为自己的key值即可)
开发语言·人工智能·c#·api接口·deepseek
源雀数智12 小时前
源雀SCRM开源·AI企微客服|RAG知识中枢+自训练闭环
java·人工智能·企业微信·流量运营·deepseek
果冻kk13 小时前
【实战教程】零基础搭建DeepSeek大模型聊天系统 - Spring Boot+React完整开发指南
spring boot·后端·react.js·deepseek
聚客AI14 小时前
企业级RAG架构设计:从FAISS索引到HyDE优化的全链路拆解,金融/医疗领域RAG落地案例与避坑指南(附架构图)
人工智能·语言模型·自然语言处理·ai大模型·rag·llamaindex·deepseek
GIS思维1 天前
ArcGIS Pro图斑属性自动联动更新-在线卫星底图图斑采集
python·arcgis·arcgis pro·deepseek
小白白搭建2 天前
wordperss AI插件:AI图文+视频+长尾关键词自动生成,已内置deepseek、kimi全模型,支持简单一键接入更多自定义API
人工智能·wordpress·ai插件·deepseek·wordprerss插件·wordpress ai插件
struggle20252 天前
Sim Studio 是一个开源的代理工作流程构建器。Sim Studio 的界面是一种轻量级、直观的方式,可快速构建和部署LLMs与您最喜欢的工具连接
人工智能·开源·deepseek
CoderJia程序员甲2 天前
PandasAI:对话式数据分析新时代
ai·数据挖掘·数据分析·pandas·deepseek
reasonsummer3 天前
【办公类-99-04】20250504闵豆统计表excle转PDF,合并PDF、添加中文字体页眉+边框下划线
python·pdf·deepseek