Deepseek r1 本地部署

1.环境需求:

  1. 独显

  2. 最好32g+内存

  3. 安装 ollama

https://ollama.com/download/windows

2. 安装 deepseek-r1

https://ollama.com/library/deepseek-r1

根据显存选择对应大小的模型,推荐能将整个模型放入显存的大小,放不下的话会将一部分放到内存中,生成速度会变慢,最佳效果是显存>模型大小*2;

如选择 7b 模型,则 cmd 输入ollama run deepseek-r1,下载速度比较慢的话可以使用 Ctrl+C 断联在重新下载,会自动继续。

3. 安装 cuda(非必须)

安装 cuda 能加速字符的生成。

https://developer.nvidia.com/cuda-toolkit

4. 安装 open-webui(非必须,需要有python环境)

图形界面,自动读取 ollama 中的模型,便于使用。 // 安装pip install open-webui// 启动open-webui serve

5. 开始使用

访问 http://localhost:8080/,选择对应模型,开始使用。

Ps. 我的电脑配置是 i5-12450k + 4050 8g

* Deepseek-r1 14b 模型加载时间在30-60s,每秒钟2-3个中文字符的生成速度,时间上基本是不可用状态;

* Deepseek-r1 7b 模型加载时间在5s左右,每秒钟10-20个中文字符的生成速度,已经赶上了在线模型的速度;

* 在一些通用问题上,7b和14b的模型效果没有明显的区别。

相关推荐
程序员阿龙2 分钟前
【精选】计算机毕业设计Python Flask海口天气数据分析可视化系统 气象数据采集处理 天气趋势图表展示 数据可视化平台源码+论文+PPT+讲解
python·flask·课程设计·数据可视化系统·天气数据分析·海口气象数据·pandas 数据处理
ZHOU_WUYI8 分钟前
Flask与Celery 项目应用(shared_task使用)
后端·python·flask
且慢.58926 分钟前
Python_day47
python·深度学习·计算机视觉
佩奇的技术笔记34 分钟前
Python入门手册:异常处理
python
大写-凌祁43 分钟前
论文阅读:HySCDG生成式数据处理流程
论文阅读·人工智能·笔记·python·机器学习
爱喝喜茶爱吃烤冷面的小黑黑1 小时前
小黑一层层削苹果皮式大模型应用探索:langchain中智能体思考和执行工具的demo
python·langchain·代理模式
Blossom.1182 小时前
使用Python和Flask构建简单的机器学习API
人工智能·python·深度学习·目标检测·机器学习·数据挖掘·flask
Love__Tay3 小时前
【学习笔记】Python金融基础
开发语言·笔记·python·学习·金融
有风南来4 小时前
算术图片验证码(四则运算)+selenium
自动化测试·python·selenium·算术图片验证码·四则运算验证码·加减乘除图片验证码
wangjinjin1804 小时前
Python Excel 文件处理:openpyxl 与 pandas 库完全指南
开发语言·python