Deepseek r1 本地部署

1.环境需求:

  1. 独显

  2. 最好32g+内存

  3. 安装 ollama

https://ollama.com/download/windows

2. 安装 deepseek-r1

https://ollama.com/library/deepseek-r1

根据显存选择对应大小的模型,推荐能将整个模型放入显存的大小,放不下的话会将一部分放到内存中,生成速度会变慢,最佳效果是显存>模型大小*2;

如选择 7b 模型,则 cmd 输入ollama run deepseek-r1,下载速度比较慢的话可以使用 Ctrl+C 断联在重新下载,会自动继续。

3. 安装 cuda(非必须)

安装 cuda 能加速字符的生成。

https://developer.nvidia.com/cuda-toolkit

4. 安装 open-webui(非必须,需要有python环境)

图形界面,自动读取 ollama 中的模型,便于使用。 // 安装pip install open-webui// 启动open-webui serve

5. 开始使用

访问 http://localhost:8080/,选择对应模型,开始使用。

Ps. 我的电脑配置是 i5-12450k + 4050 8g

* Deepseek-r1 14b 模型加载时间在30-60s,每秒钟2-3个中文字符的生成速度,时间上基本是不可用状态;

* Deepseek-r1 7b 模型加载时间在5s左右,每秒钟10-20个中文字符的生成速度,已经赶上了在线模型的速度;

* 在一些通用问题上,7b和14b的模型效果没有明显的区别。

相关推荐
ZH154558913117 分钟前
Flutter for OpenHarmony Python学习助手实战:API接口开发的实现
python·学习·flutter
小宋102119 分钟前
Java 项目结构 vs Python 项目结构:如何快速搭一个可跑项目
java·开发语言·python
一晌小贪欢1 小时前
Python 爬虫进阶:如何利用反射机制破解常见反爬策略
开发语言·爬虫·python·python爬虫·数据爬虫·爬虫python
躺平大鹅1 小时前
5个实用Python小脚本,新手也能轻松实现(附完整代码)
python
yukai080081 小时前
【最后203篇系列】039 JWT使用
python
独好紫罗兰2 小时前
对python的再认识-基于数据结构进行-a006-元组-拓展
开发语言·数据结构·python
Dfreedom.2 小时前
图像直方图完全解析:从原理到实战应用
图像处理·python·opencv·直方图·直方图均衡化
铉铉这波能秀2 小时前
LeetCode Hot100数据结构背景知识之集合(Set)Python2026新版
数据结构·python·算法·leetcode·哈希算法
怒放吧德德2 小时前
Python3基础:基础实战巩固,从“会用”到“活用”
后端·python