本地部署DeepSeek实战

目录

[1. 安装Ollama](#1. 安装Ollama)

2.安装DeepSeek

3.客户端调用DeepSeek

4.API调用本地部署大模型


最近想通过Spring-AI来整个大模型的应用,调用其它公司的大模型平台都需要申请API Key、Secret Key,模型调用都需要按调用次数/Token 收费,有个别平台有免费试用期和免费额度。如果想免费调用大模型,最好是自己本地部署运行开源模型,减少资金消耗。

阿里云百炼平台:大模型服务平台百炼控制台

百度千帆平台:百度智能云千帆大模型平台

腾讯混元平台:登录 - 腾讯云

字节扣子:扣子

1. 安装Ollama

Ollama 是一个开源的大型语言模型(LLM)平台,旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

下载:在官网Ollama,直接点击download即可,根据电脑系统选择不同的版本。

安装完成后打开如下:

2.安装DeepSeek

deepseek官网上可以看到有不同版本的模型,可以根据自己电脑的配置安装不同的模板

  • 1.5B:适合硬件配置较低的电脑,4GB内存就够了;M1/M2处理器可安装

  • 7B:推荐版本,大部分电脑都能跑,要求8GB内存+4GB显存;M3的处理器可安装

  • 32B:高性能设备的专属,要求32GB内存+12GB显存。M4或者更高处理器

安装命令:ollama run deepseek-r1:7b

安装成功如下:

3.客户端调用DeepSeek

如果不想用ollama命令操作DeepSeek,可安装可视化大模型交互工具

可视化工具有:ChatBox客户端、Cherry Studio、浏览器插件

Cherry Studio下载地址:

ChatBox下载地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

浏览器插件安装方式:

  • 打开浏览器的扩展中心,启用【开发人员模式】;

  • 把文末提供的插件压缩包拖入扩展中心进行安装;

  • 安装完成后,你会看到一个名为"Page Assist-本地AI模型的Web UI"的插件。

下载Cherry Studio之后,打开,设置

添加模型,我自己的是deepseek-r1:7b

首页中调用大模型

4.API调用本地部署大模型

有开发需求的朋友,可以开启API模式,通过API集成的方式。

基于Ollama框架运行了deepSeek R1模型,ollama相当于一个代理,我们直接调用ollama的API即可实现大模型接口的调用。

Ollama包装了完善的接口与大模型进行交互,接下来会通过Spring-AI来实践Agent应用。

参考:https://zhuanlan.zhihu.com/p/21682261418

相关推荐
小屁不止是运维6 个月前
DeepSeek介绍&&本地部署保姆级教程
人工智能·ai大模型·deepseek·本地部署deepseek