python项目实战07-DeepSeek调用测试(本地部署)

1.首先,我们需要下载一个Ollama的客户端,在官网提供了各种不同版本的Ollama,大家可以根据自己的需要下载,下载地址:Ollama

2.默认安装

下载后双击即可安装,这里不再赘述。 默认Ollama是安装在C盘中的,具体的安装位置如下:

(1) 默认安装后的目录:C:\Users\用户名\AppData\Local\Programs\Ollama

(2) 默认安装的模型目录:C:\Users\用户名\ .ollama

(3) 默认的配置文件目录:C:\Users\用户名\AppData\Local\Ollama

3.自定义安装

Ollama默认安装目录是C盘的用户目录,如果不希望安装在C盘 的话(其实C盘如果足够大放C盘也没事),就不能直接双击安装了。需要通过命令行安装。

(1) 命令行安装方式如下

在 OllamaSetup.exe 所在目录打开cmd命令行,然后命令如下:

OllamaSetup.exe /DIR=你要安装的目录位置

比如:

OllamaSetup.exe /DIR=D:/develop/ollama

(2) 配置环境变量

安装完成后,还需要配置一个环境变量,更改Ollama下载和部署模型的位置。环境变量如下:

OLLAMA_MODELS=你想要保存下载的模型的目录

环境变量配置方式,和之前配置的方式是一致的,这里不再赘述,配置完成如图:

4.查找模型

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:https://ollama.com/search

点击进入deepseek-r1页面,会发现deepseek-r1也有很多版本:

比如:1.5b,7b,8b,14b,32b,70b,671b。这些就是模型的参数大小,越大推理能力就越强,需要的算力也越高。671b版本就是最强的满血版deepseek-r1了。需要注意的是,Ollama提供的DeepSeek是量化压缩版本,对比官网的蒸馏版会更小,对显卡要求更低。对比如下:

比如电脑内存32G,显存是8G,选择部署的是8b的模型,当然7b也是可以的,差别不大,都是可以流畅运行的。

5.运行模型

选择自己合适的模型后,点击对应的链接。

ollama会给出运行模型的命令:

注意:

(1) 首次运行命令需要下载模型,根据模型大小不同下载时长在5分钟~1小时不等,请耐心等待下载完成。

(2) ollama控制台是一个封装好的AI对话产品,与ChatGPT、DeepSeek官方提供的对话产品类似,具备会话记忆功能。

Ollama是一个模型管理工具,所有的命令如下:

  • ollama serve # 启动Ollama

  • ollama create # 创建模型

  • ollama show # 查看模型的详细信息

  • ollama run # 运行一个模型

  • ollama stop # 停止正在运行的模型

  • ollama pull # 推送一个模型到远端

  • ollama push # 拉取(下载)一个模型

  • ollama list # 列出所有的模型

  • ollama ps # 列出正在运行的模型

  • ollama cp # 拷贝模型

  • ollama rm # 删除模型

  • ollama help # 查看帮助文档

相关推荐
不积跬步无以至千里mmbb2615 分钟前
Rust内核开发核心入口解析
linux·rust
如夏倾城1 小时前
五大远程桌面协议:RDP、SSH、VNC/RFB、Citrix ICA/HDX 与 VMware Blast Extreme
运维·windows·网络协议·安全·自动化·ssh·远程工作
无足鸟ICT2 小时前
【RHCA+】numactl命令(管理numa)
linux·运维·服务器
飞奔的瓜牛3 小时前
CentOS 7 系统优化实战指南:从内核参数到服务精简
linux·运维·centos
少司府13 小时前
嵌入式外设篇(二)GPIO·二:GPIO输出与LED控制
linux·stm32·单片机·嵌入式硬件·mcu·51单片机·系统
H.莓飛14 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
Rabitebla14 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
发疯的技术鼠15 小时前
03-优先级与调度
linux
无足鸟ICT17 小时前
【RHCA+】sosreport(收集诊断文档)
linux·运维·服务器
GeW17 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库