Deepseek r1 本地部署

1.环境需求:

  1. 独显

  2. 最好32g+内存

  3. 安装 ollama

https://ollama.com/download/windows

2. 安装 deepseek-r1

https://ollama.com/library/deepseek-r1

根据显存选择对应大小的模型,推荐能将整个模型放入显存的大小,放不下的话会将一部分放到内存中,生成速度会变慢,最佳效果是显存>模型大小*2;

如选择 7b 模型,则 cmd 输入ollama run deepseek-r1,下载速度比较慢的话可以使用 Ctrl+C 断联在重新下载,会自动继续。

3. 安装 cuda(非必须)

安装 cuda 能加速字符的生成。

https://developer.nvidia.com/cuda-toolkit

4. 安装 open-webui(非必须,需要有python环境)

图形界面,自动读取 ollama 中的模型,便于使用。 // 安装pip install open-webui// 启动open-webui serve

5. 开始使用

访问 http://localhost:8080/,选择对应模型,开始使用。

Ps. 我的电脑配置是 i5-12450k + 4050 8g

* Deepseek-r1 14b 模型加载时间在30-60s,每秒钟2-3个中文字符的生成速度,时间上基本是不可用状态;

* Deepseek-r1 7b 模型加载时间在5s左右,每秒钟10-20个中文字符的生成速度,已经赶上了在线模型的速度;

* 在一些通用问题上,7b和14b的模型效果没有明显的区别。

相关推荐
这里有鱼汤31 分钟前
原来基金经理都偷偷用这个指标选股,难怪回撤小还赚钱
后端·python
广州智造33 分钟前
EPLAN教程:流体工程
开发语言·人工智能·python·算法·软件工程·软件构建
Enougme37 分钟前
python-使用鼠标对图片进行涂抹&自定义绘图
python·opencv
CF14年老兵1 小时前
🐍 Python黑魔法手册:让你的代码从能跑到飞起的奇技淫巧
后端·python·trae
天天进步20151 小时前
Python实战--基于Django的企业资源管理系统
开发语言·python·django
万邦科技Lafite2 小时前
利用淘宝开放API接口监控商品状态,掌握第一信息
大数据·python·电商开放平台·开放api接口·淘宝开放平台
Hy行者勇哥4 小时前
Python 与 VS Code 结合操作指南
开发语言·python
大力水手(Popeye)4 小时前
Pytorch——tensor
人工智能·pytorch·python
飞翔的佩奇8 小时前
【完整源码+数据集+部署教程】表盘指针检测系统源码和数据集:改进yolo11-CA-HSFPN
python·yolo·计算机视觉·数据集·yolo11·表盘指针检测
larance8 小时前
SQLAlchemy 的异步操作来批量保存对象列表
数据库·python