deepseek 本地部署

deepseek 本地部署

纯新手教学,手把手5分钟带你在本地部署一个私有的deepseek,再也不用受网络影响。流畅使用deepseek!!!

如果不想看文章,指路:Deep seek R1本地部署 小白超详细教程,请大家多多投币,不胜感激~~

Ollama 下载安装

  1. Ollama官网指路:Ollama,下载这步都会就没必要截图了,如果下载的慢建议科学上网,多试试。

  2. 在C盘以外的盘新建一个Ollama 文件夹存放ollama的安装位置(为什么要这样做,因为ollama不能指定安装位置)。

  3. 注意下载完成后不要立刻点击安装,将下载的可行性程序(OllamaSetup.exe)在文件资源管理器中打开,输入cmd

  4. 在命令行中执行如下命令:ollamasetup.exe /DIR=+文件夹路径,这个文件夹的路径就是你创建的Ollama文件夹。

  5. 指定位置安装后如下图所示:

  6. 现在要修改模型默认下载的位置(因为模型下载也是默认在C盘的,但是一般模型体积会很大,C盘吃不消的),在C盘以外的盘新建一个ollamaimagers 文件夹存放ollama的安装位置。

  7. 编辑系统环境变量:OLLAMA_MODELS,完成后,保存重启电脑,让环境变量生效。

小结:现在已经完成了Ollama指定位置的安装,和模型指定位置的安装

模型下载

  1. 模型网址链接:deepseek-r1

  2. 根据你自己的电脑配置,选择合适的模型进行下载,笔者这里使用的为1.5b模型,在命令行窗口中输入:ollama run deepseek-r1:1.5b

  3. 中途如果下载很慢,可以按ctrl + c结束下载,再运行模型下载的命令,会接着继续下载。

  4. 成功下载后,即可与本地deepseek对话。

附件

这是由deepseek推荐的各个模型的显卡配置:

模型规模 推荐显存(推理) 推荐显卡(推理) 推荐显存(训练) 推荐显卡(训练) 备注
1.5B ≥4GB GTX 1660 (6GB)、RTX 3050 (8GB) ≥8GB RTX 3060 (12GB)、RTX 2080 Ti (11GB) FP16推理,训练需额外显存。
7B ≥16GB RTX 3090 (24GB)、RTX 4090 (24GB) ≥24GB 单卡A100 40GB、双RTX 3090(并行) 无量化时需24GB显存;4位量化可降至约8GB,单卡RTX 3090即可推理。
8B ≥16GB RTX 3090 (24GB)、Tesla T4 (16GB) ≥32GB 双A100 40GB(并行) 需注意T4可能因带宽不足导致速度较慢。
14B ≥28GB 单卡A100 40GB、双RTX 3090(并行) ≥56GB 双A100 40GB(并行)或四RTX 3090 4位量化推理需约14GB,单卡RTX 3090可运行。
32B ≥64GB(FP16) 双A100 40GB(并行)、四RTX 3090 ≥128GB 四A100 80GB集群、多卡H100 需模型并行;4位量化后显存降至约32GB,单A100 40GB可推理。
70B ≥140GB(FP16) 四A100 40GB(并行) ≥280GB 专业集群(如8xA100 80GB) 4位量化后显存约35GB,单A100 40GB可推理,但需优化库(如vLLM)。
671B ≥1.3TB(FP16) 大规模分布式系统(如TPU Pod) ≥2.6TB 超算集群(数百张A100/H100) 仅限企业和研究机构;需分布式训练框架(如DeepSpeed、Megatron-LM)。

Ollama 命令

  1. 输入ollama help,即可看到命令帮助,这里最常用的命令就是:ollama listollama run
  2. ollama list:查看下载的所有模型
  3. ollama run:运行你下再的模型,命令后面跟模型的名称,如:ollama run deepseek-r1:1.5b,即可重新开始对话。
  4. ollama rm:删除模型,命令后面跟模型的名称,如:ollama rm deepseek-r1:1.5b
相关推荐
奔跑吧邓邓子1 小时前
DeepSeek 赋能低空经济:无人机智能调度的破局之道
无人机·应用·低空经济·智能调度·deepseek
~央千澈~2 小时前
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
人工智能·deepseek·ai混剪
PPIO派欧云8 小时前
首发!PPIO派欧云上线DeepSeek-R1-0528-Qwen3-8B蒸馏模型
人工智能·开源·api·deepseek
—Qeyser1 天前
让 Deepseek 写一个尺码计算器
微信小程序·小程序·deepseek
cooldream20091 天前
华为云Flexus+DeepSeek征文|ModelArts Studio开通DeepSeek-V3与R1商用服务实践与体验
大模型·华为云·deepseek
-曾牛1 天前
Spring Boot 深度集成 Ollama 指南:从聊天模型配置到生产级应用开发
java·人工智能·spring boot·后端·聊天机器人·本地部署·ollama
道可云2 天前
道可云人工智能每日资讯|《北京市人工智能赋能新型工业化行动方案(2025年)》发布
人工智能·百度·ar·deepseek
cooldream20092 天前
华为云Flexus+DeepSeek征文|华为云Flexus云服务器X实例上部署Dify:打造高效的开源大语言模型应用开发平台
语言模型·华为云·deepseek
Thomas_Cai2 天前
deepseek开源资料汇总
大模型·llm·deepseek
源雀数智3 天前
企微客服如何接入ai大模型
java·人工智能·企业微信·流量运营·deepseek